Umjesto sve većih i skupljih modela, Rafael Rafailov iz tvrtke Thinking Machines Lab poziva na radikalan zaokret: stvaranje sustava sposobnih za kontinuirano učenje i samopoboljšanje.
Na konferenciji TED AI u San Franciscu istraživač pojačanja učenja prozvao je dominantnu strategiju najvećih laboratorija: „Skaliranje nije dovoljno. Prva superinteligencija bit će nadljudski dobar ‛učenik’.”
Rafailov tvrdi da današnji asistenti za kodiranje svaki dan kreću ispočetka. Iako mogu riješiti složen zadatak, sutradan ponovno „čitaju” sav kôd jer prethodno iskustvo ne internaliziraju. Simptom tog nedostatka je i česta upotreba Pythonovog bloka try/except pass – krpanja koje omogućuje da program nastavi raditi i kad su svjesni da dio koda možda nije ispravan.
„Naši modeli optimizirani su isključivo za brz završetak zadatka. Sve što nije vezano uz taj trenutni cilj smatra se rasipanjem računarske snage”, naglasio je.
Ključna promjena, kaže, leži u načinu treniranja: umjesto da im se zadaje pojedinačan težak problem, modele treba „provesti” kroz čitav udžbenik – poglavlje po poglavlje, zadatak po zadatak – te nagrađivati napredak, a ne samo konačno rješenje. Takav pristup meta-učenja već je demonstriran u manjim postavkama; izazov je primijeniti ga na velike temeljne modele.
Thinking Machines Lab, koji je u veljači osnovala bivša CTO OpenAI-ja Mira Murati, prikupio je rekordnih 2 milijarde dolara početnog kapitala i vrijedi oko 12 milijardi. Tim od tridesetak istraživača već je lansirao svoj prvi proizvod, API Tinker za dorađivanje otvorenih jezičnih modela, ali Rafailov najavljuje daleko ambiciozniji cilj – sustav koji će sam naučiti „kako učiti”.
Takav bi algoritam, smatra on, u okruženju bogatom podacima i poticajima mogao razviti opću sposobnost prilagodbe: „Zamislite inteligenciju čiji je osnovni cilj istraživati, učiti i samo se usavršavati, a uz to ima opću agenciju – sposobnost pretraživanja weba, vođenja istraživanja ili upravljanja robotima.”
Iako priznaje da je pred njima dug put pun tehničkih izazova – od memorije do optimizacije – Rafailov ostaje uvjeren: „Bez moći istinskog učenja, nikakvo dodatno skaliranje neće nas dovesti do umjetne opće inteligencije.”