Istraživači iz Googlea tvrde da su pronašli način kako jezične modele učiniti manje „zaboravnima”. Umjesto jedne statične faze treniranja, nova paradigma nazvana Nested Learning (NL) promatra model kao sustav višestruko ugniježdenih, paralelnih procesa učenja koji se optimiziraju različitim brzinama – od trenutnog konteksta do dugoročne memorije.
Što ne valja s današnjim LLM-ovima?
Današnji transformeri znanje upisuju samo tijekom početnog treniranja. Sve što model „nauči” izvan tog okvira ostaje u kratkoročnoj radnoj memoriji konteksta i nestaje čim se prozor prepiše. U praksi se ponašaju poput osobe koja pamti samo ono što je trenutačno pred njom, bez mogućnosti trajnog pohranjivanja novih informacija.
Kako funkcionira Nested Learning
NL razgrađuje model na niz memorijskih banaka koje se ažuriraju različitom frekvencijom. Brže razine hvataju svježe podatke, sporije ih sažimaju u apstraktnije, dugoročnije znanje. Svaki je sloj zaseban „mini-optimizator” pa se arhitektura i algoritam treniranja stapaju u jedinstven, samouređujući sustav.
Hope – prvi dokaz koncepta
Na tim je principima nastao Hope, nasljednik ranijeg eksperimenta Titans. Umjesto dvaju memorijskih razina, Hope sadrži Continuum Memory System (CMS) s potencijalno neograničenim brojem ugniježđenih banaka. Rezultat:
• niža perpleksnost na standardnim zadacima jezičnog modeliranja; • bolja točnost u zadacima dugoga konteksta „igla u plastu sijena”; • stabilnije kontinuirano učenje bez gubitka starih vještina.
Širi trend i prepreke
Googleov pristup pridružuje se nizozima pokušaja da se AI sustavi usloje po vremenskim ili apstraktnim razinama – od Hierarchical Reasoning Modela do Tiny Reasoning Modela. Svi oni, uključujući Hope, nailaze na istu zidinu: današnji hardver i softver pisani su po mjeri klasičnih transformera. Masovno usvajanje NL-a vjerojatno će tražiti nove čipove, alate i metode obuke.
Ipak, pokaže li se da Hope doista može trajno učiti iz interakcija, mogao bi otvoriti put jezičnim modelima koji se prilagođavaju jednako brzo kao i problemi koje trebaju rješavati – od dinamičnih poslovnih okruženja do osobnih digitalnih asistenata.