Poslovni AI sustavi sve se češće udaljavaju od jednostavnih, jednokratnih asistenata i preuzimaju zadatke koji zahtijevaju dugoročno pamćenje preferencija, kontinuitet projektnog konteksta i rad na opsežnijim vremenskim horizontima. Upravo tu nailaze na memorijski strop: obrada duljih dokumenata i složenijih zadataka troši enormne količine radne memorije.
Laboratorij za informatiku i umjetnu inteligenciju pri MIT-u predstavio je rješenje nazvano „Attention Matching”. Tehnika omogućuje kompresiju key–value (KV) predmemorije čak 50 puta bez gubitka točnosti modela, i to u svega nekoliko sekundi, a ne sati.
Prema objavljenim podacima, metoda zadržava preciznost originalnih modela dok drastično smanjuje njihove memorijske zahtjeve. Time se otvara put razvijanju AI rješenja koja mogu učinkovitije čuvati i obrađivati veliku količinu konteksta potrebnu za kompleksne poslovne primjene.