Najnoviji modeli umjetne inteligencije sve se češće spotiču o vrlo prizemne prepreke: energetska ograničenja, latentnost inferencije i sve veće troškove po pojedinom tokenu. Premda su se nominalni troškovi inferencije u posljednje dvije godine strmoglavili „gotovo tisućustruko”, stvarna slika je puno sumornija, upozorio je Val Bercovici, glavni direktor za umjetnu inteligenciju u tvrtki WEKA.
„Kad se pogleda neto jedinični trošak, on je trenutačno negativan. Vratili smo se u klasičnu Uberovu igru u kojoj investitori subvencioniraju stvarnu cijenu proizvoda”, kazao je Bercovici.
Razumski tokeni i rojenje agenata
Prekretnica se dogodila krajem prošle godine kada je OpenAI javno predstavio koncepciju „razumskog” modela. Uslijedio je skok potražnje: prema riječima Bercovicija, broj tokena koje ti modeli generiraju porastao je „za dva reda veličine” u odnosu na prethodnu generaciju pretreniranja.
Ove je godine dodatni zamah donio uspon tzv. agentske umjetne inteligencije. Poslovna vrijednost AI-agenata pokazala se opipljivom, ali cijena je nova „eksplozija“ tokena – još deset puta veća nego prije. „Čak i ako je cijena inferencije optimistično pala tisuću puta, potražnja za tokenima skočila je najmanje 10 000 puta”, istaknuo je Bercovici. „Govorimo o razlici od čitavog reda veličine.”
Od skaliranja podataka do skaliranja rezoniranja
Alati poput Claude Codea ili Cursor-a već sada podižu produktivnost programera za više od 30 %. „Vidim kako se ljestvica seli s računanja i podataka u fazi pretreniranja na rezoniranje u vremenu izvođenja, a zatim na agente – to su nove skale rasta”, rekao je Bercovici. „Kad to sve zbrojimo, AGI više ne izgleda kao daleki san.”
No da bi se ti prinosi doista materijalizirali, valja temeljito preispitati razvojne procese. Za razliku od ljudi, koji kod segmentiraju u funkcije i datoteke, agentske se skupine najbolje snalaze ako sav izvorni kod stoji u jednoj golemoj datoteci kako bi imale potpun kontekst. „Kontekst je sve”, naglasio je Bercovici. „Ako ne možete priuštiti toliku količinu tokena, nećete moći napraviti ništa.”
Preispitivanje osnovnih načela infrastrukture
Jedan od recepata za smanjenje troškova je radikalna promjena infrastrukturnih pretpostavki. Primjerice, postojeći NVMe pogoni mogu se prenamijeniti da funkcioniraju poput DRAM-a. „Ako niskobudžetne, visokokapacitetne NVMe uređaje redeployate kao radnu memoriju i dobijete potrebnu propusnost u fazi inferencije, možete temeljito preokrenuti ekonomiku cijelog procesa”, objasnio je.
Tvornica bez proizvodne trake
U konačnici, učinkovitija arhitektura ne znači samo bržu obradu tokena, nego i uštede energije i novca koje čine AI profitabilnom. „Surova je realnost da današnje AI tvornice nemaju proizvodnu traku. Inferencija je nevjerojatno neučinkovita, što napuhuje cijenu tokena”, zaključio je Bercovici. „Oni koji prvi uvedu ‘traku’ i optimiziraju inferenciju mogli bi steći prednost koju konkurencija neće moći stići.”