AI agenti nailaze na ozbiljan infrastrukturni problem poznat kao „zid memorije”, istaknuo je Shimon Ben-David iz tvrtke WEKA tijekom stručnog izlaganja pod naslovom „Breaking the Memory Wall: The Infrastructure Required for Statefulness”.
Prema njegovim riječima, moderni agenti zahtijevaju sve veće količine konteksta kako bi ostali „stanje-svjesni”, no ta količina podataka guši GPU inferenciju. Problem nije u samim procesorima, već u protoku podataka do njih: memorijski podsustav ne može isporučiti informacije dovoljno brzo, pa GPU-ovi čekaju umjesto da računaju.
Ben-David je naveo da je za otklanjanje uskog grla potrebno prilagoditi infrastrukturu – od bržih slojeva predmemorije do sustava za pohranu i mrežne povezanosti optimizirane za rad s velikim kontekstualnim skupovima podataka. Time bi se, tvrdi, omogućilo kontinuirano učenje i donošenje odluka u stvarnom vremenu bez pada performansi.
Zaključio je kako će budućnost naprednih AI sustava ovisiti o sposobnosti da se „zid memorije” probije ili barem snizi, čime se otvara prostor za daljnji razvoj sve sposobnijih i autonomnijih agenata.