Nvidia je na konferenciji GTC 2026 predstavila BlueField-4 STX, referentnu arhitekturu koja između GPU-ova i klasičnih sustava za pohranu dodaje novu razinu posvećenu kontekstnoj memoriji. Tvrtka tvrdi da STX omogućuje
- 5× veći tokenski promet,
- 4× bolju energetsku učinkovitost i
- 2× brže usisavanje podataka
u odnosu na konvencionalna, procesorski vođena spremišta.
STX cilja na tzv. KV predmemoriju – zapise koje veliki jezični modeli stvaraju kako ne bi morali iznova računati pažnju nad cjelokupnim kontekstom pri svakom koraku inferencije. Kako prozori konteksta rastu, a agenti izvršavaju sve složenije zadatke, taj se spremnik dramatično širi. Ako pak mora ići klasičnim putom do pohrane i natrag, brzina zaključivanja pada, a iskorištenost GPU-a opada.
Nova arhitektura počiva na skladišno optimiziranom procesoru BlueField-4 koji spaja Nvidia Veru CPU i ConnectX-9 SuperNIC te koristi mrežu Spectrum-X Ethernet. Programira se kroz platformu DOCA, proširenu novom komponentom nazvanom DOCA Memo.
Prvi spreman sustav u punom racku je CMX context memory storage platform. CMX proširuje radnu memoriju GPU-a slojem visoke propusnosti posebno dizajniranim za pohranu i brzi dohvat KV predmemorije tijekom rada LLM-ova.
„Tradicionalni podatkovni centri nude velike kapacitete opće namjene, ali im često nedostaje odzivnosti potrebne za AI agente koji rade kroz puno koraka, alata i sesija”, rekao je Ian Buck, potpredsjednik Nvidije za hiperskalarne i HPC sustave, na brifingu za novinare i analitičare.
Buck je istaknuo da STX nije gotov proizvod koji Nvidia planira samostalno prodavati, već nacrt koji partneri mogu pretočiti u „AI-nativnu” infrastrukturu: „Naši pružatelji pohrane mogu iskoristiti programabilnost procesora BlueField-4 kako bi optimizirali sustave za tvornicu agentske umjetne inteligencije. Uz referentni rack nudimo i referentnu softversku platformu kako bi ti partneri brže donijeli inovacije svojim korisnicima.”
Nvidia tako nastavlja strategiju u kojoj hardverske i softverske smjernice daje ekosustavu, dok partneri grade gotova rješenja. BlueField-4 STX i prateći CMX najavljuju novu generaciju memorijskih slojeva osmišljenih da GPU-ovima nikada ne ponestane konteksta – ključnog goriva za sve pametnije, dugotrajnije AI agente.