U svijetu umjetne inteligencije jedan paradoks postaje sve očitiji: što su modeli veći i moćniji, to brže gube nit kad se razgovor protegne u nedogled. Inženjeri taj problem nazivaju „kontinuirana degradacija konteksta”, a rješavanje tog ograničenja presudno je za razvoj pouzdanih AI sustava koji će mjesecima pratiti projekte ili voditi duge razgovore.
Što je GAM?
Istraživački tim s kineskih i hongkonških sveučilišta predstavlja general agentic memory (GAM) – dvoslojnu arhitekturu koja odvaja pohranu od pretraživanja. Sustav se sastoji od:
- „Memorizera” – bilježi svaku interakciju bez gubitka podataka, organizira je u pregledne „stranice” i dodaje metapodatke. Ne baca ništa.
- „Researchera” – pri svakoj novoj zadaći dinamčki slaže upravo onaj komadić konteksta koji je modelu potreban. Kombinira vektorsko pretraživanje, klasično pretraživanje ključnih riječi i izravne upite.
Autori GAM uspoređuju s just-in-time kompilacijom: puni arhiv ostaje netaknut, a trenutni „radni kontekst” sastavlja se tek kada zatreba.
Zašto povećavanje prozora konteksta nije dovoljno
Proizvođači modela posljednjih su mjeseci naglo širili kontekstualne prozore – od 32 tisuće tokena u Mixtralu, preko 128 tisuća u Geminiju 1.5 Pro do milijun tokena u nekim eksperimentalnim verzijama. No čak i ti kolosalni prozori:
- slabe točnost jer se model „rasprši” po predugom ulazu,
- usporavaju generiranje odgovora,
- znatno poskupljuju rad kroz API-je, budući da se cijena zbraja po ulaznom tokenu.
Sažimanje ili klasični RAG (retrieval-augmented generation) ublažavaju problem, ali nerijetko brišu ključne detalje ili pucaju kad se informacije protežu kroz više sesija.
Testovi na četiri zahtjevna mjerila
GAM je iskušan na skupovima LoCoMo, HotpotQA, RULER i NarrativeQA, namijenjenima provjeri dugoročnog pamćenja i složenog zaključivanja. Rezultati:
- na RULER-u GAM prelazi 90 % točnosti,
- standardni RAG drastično gubi preciznost jer su ključni podaci već izgubljeni u sažecima,
- modeli s velikim kontekstom posustaju; informacije s početka razgovora postaju „nevidljive” iako su tehnički još u prozoru.
Što slijedi
Autori tvrde da je loše strukturiran kontekst češće kamen spoticanja nego sama arhitektura modela. GAM, kažu, vraća izgubljenu nit – bez golemih troškova i bez potrebe za beskonačnim širenjem prozora. Ako se rezultati potvrde u industrijskim okolnostima, sljedeći veliki iskorak u AI-u mogao bi doći ne iz još većih modela, nego iz pametnije memorije koja štiti svaku riječ, a pritom zna kada je vrijedi prizvati.