Llion Jones, jedan od sedmorice autora prelomnog rada „Attention Is All You Need” iz 2017. i čovjek koji je smislio sam naziv „transformer”, javno je priznao da se umorio od tehnologije koju je stvorio. Na konferenciji TED AI u San Franciscu objasnio je da goleme investicije i hiperkompetitivno okruženje danas guše kreativnost u umjetnoj inteligenciji.
„Unatoč tome što imamo neviđenu količinu novca, resursa i talenta, istraživanje se suzilo na jedan arhitektonski pristup”, rekao je Jones okupljenima. Po njegovu mišljenju, pritisak investitora koji traže brze povrate i znanstvenika koji žele što prije objaviti radove doveo je do „eksploatacije” postojećih ideja uz minimalno „istraživanje” novih putova.
Jones trenutno vodi tokijski startup Sakana AI, gdje namjerno smanjuje vlastiti rad na transformerima. „Početkom godine odlučio sam drastično reducirati vrijeme koje provodim na transformerima. Sada svjesno tražim sljedeću veliku stvar”, poručio je.
Usporedio je današnje stanje s razdobljem uoči transformera, kad su se istraživači iscrpljivali sitnim poboljšanjima rekurentnih mreža dok su revolucionarne ideje tinjale u pozadini. „Bojim se da opet radimo isto – vrtimo se oko jedne arhitekture i permutiramo je, dok možda iza ugla čeka pravi prodor”, upozorio je.
Jones je opisao kako su sami transformeri nastali „organski, odozdo”, iz razgovora uz ručak i crta po ploči, bez upravnog pritiska na rokove ili broj objava. Takve slobode, kaže, danas manjka čak i istraživačima plaćenima „milijun dolara godišnje”. Oni radije biraju „sigurne, objavljive” projekte nego rizične, ali potencijalno prelomne.
Kako vratiti kreativnost? Prema Jonesu, ključno je „pojačati gumb za istraživanje” i otvoreno dijeliti rezultate, makar to kratkoročno koštalo konkurentnosti. U Sakana AI-ju zato potiče rad na nesvakidašnjim idejama poput „kontinuiranog stroja misli” koji usklađuje neuronske mreže nalik moždanim valovima – projekt koji je, tvrdi, drugdje odmah proglašen gubitkom vremena, a kod njega je završio na programu renomirane konferencije NeurIPS.
„Nije poanta u natjecanju; svi želimo vidjeti napredak tehnologije kako bi od nje korist imali svi”, zaključio je Jones. Njegovo odricanje od transformera, arhitekture koja mu je donijela slavu, snažna je poruka industriji koja sve češće uviđa da puko povećanje modela donosi sve manji povrat. Ako se istraživači ne oslobode postojećih poticaja i ne dopuste sebi više lutanja, sljedeći veliki skok mogao bi ostati neotkriven – baš kao što bi i transformeri možda zauvijek ostali bilješka u nečijoj bilježnici da su autori tada igrali „na sigurno”.