Istraživači s odjela CSAIL na Massachusetts Institute of Technology (MIT) predstavili su novu tehniku za rad s velikim jezičnim modelima (LLM-ovima) koja bi mogla ukloniti jedno od njihovih najvećih ograničenja – duljinu kontekstnog prozora.
Tehnika nazvana rekursivni jezični modeli (RLM) tretira golemi upit kao „vanjsko okruženje” umjesto da ga cijelog gura u memoriju modela. Ključna novost je što LLM prema tekstu pristupa programerski: najprije sprema sadržaj kao varijablu u Python okruženju, a zatim sam piše kod kojim pregleda, razlaže i po potrebi poziva pod-modele na obradu pojedinih dijelova.
• Što rješava: tradicionalni LLM-ovi ograničeni su fizičkom veličinom konteksta i tzv. „truljenjem konteksta” – gubitkom točnosti prema starijim dijelovima razgovora. RLM-ovi omogućuju nasumičan pristup detaljima skrivenim u milijunima tokena bez preraspodjele ili sumariziranja dosadašnjeg teksta.
• Kako radi: sustav obično uključuje dva agenta. „Korijenski” model velike sposobnosti planira strategiju i upravlja tokovima podataka, dok brži i jeftiniji radni model obrađuje izolirane ulomke teksta. Budući da se puni upit nalazi u memoriji okruženja, a ne u kontekstnom prozoru, ograničenje broja tokena praktički nestaje.
• Zašto je bitno: poduzeća koja LLM-ove koriste za dugotrajne zadatke – od analize golemih kodnih repozitorija do pravne revizije – mogu zamijeniti izravni poziv modelu RLM-om bez dodatnog treniranja ili promjena u aplikaciji.
Rješenje se nadahnjuje "out-of-core" algoritmima iz klasičnog računalstva, koji velike skupove podataka drže na disku i u radnu memoriju povlače samo ono što je trenutačno potrebno. Slično, RLM dohvaća isključivo relevantne odlomke, primjerice cijelo poglavlje knjige, a zatim ih analizira ili sažima u zasebnom koraku.
Autori ističu da ni najmoderniji LLM-ovi ne uspijevaju linearnom brzinom povećavati kapacitet konteksta usporedivo s rastom sposobnosti rezoniranja. RLM okvir zato nudi praktičan, softverski odgovor: model ostaje isti, a problema s dugim kontekstom više nema. Za krajnjeg korisnika, međutim, ponašanje ostaje poznato – upit se šalje kao običan niz znakova, a dobiveni odgovor izgleda kao da ga je generirao standardni chatbot.