Otvoreni modeli umjetne inteligencije, koje se često hvali kao jeftiniju alternativu zatvorenim sustavima, mogli bi tvrtke na kraju stajati više nego što misle. Novo istraživanje tvrtke Nous Research pokazalo je da takvi modeli pri rješavanju istih zadataka troše od 1,5 do 4 puta više tzv. tokena – osnovnih obračunskih jedinica – nego komercijalna rješenja poput onih OpenAI-ja ili Anthropica.
Istraživači su analizirali 19 modela na trima skupinama zadataka: jednostavna faktografska pitanja, matematički problemi i logičke zagonetke. Zaključak je jasan: „Otvoreni modeli koriste 1,5–4× više tokena, a kod jednostavnih pitanja i do deset puta više”, stoji u izvještaju objavljenom u srijedu.
Ključna metrika: učinkovitost tokena
Token-učinkovitost – koliko jedinica obrade model potroši u odnosu na složenost rješenja – dosad se rijetko sustavno proučavala iako izravno utječe na ukupne troškove. Ispostavilo se da prednost niže cijene po tokenu kod otvorenih modela lako pada u vodu ako modelu treba više tokena da „razmišlja” o problemu.
Zatvoreni modeli vode u matematici
OpenAI-jevi modeli, posebno o4-mini i novi gpt-oss, pokazali su iznimnu ekonomičnost, trošeći do tri puta manje tokena od drugih komercijalnih rješenja pri rješavanju matematičkih zadataka. Među otvorenim modelima najbolje se snašao Nvidia-in llama-3.3-nemotron-super-49b-v1, dok su neki noviji projekti, poput Magistrala, bili izraziti „rasipnici” tokena.
Jaz raste kod jednostavnih pitanja
Dok su otvoreni modeli za matematiku i logiku trošili otprilike dvostruko više tokena, razlika je eksplodirala kod trivijalnih faktografskih upita gdje im je ponekad trebalo deset puta više računskih jedinica – paradoksalno, upravo ondje gdje opširno „razmišljanje” nije nužno.
Poslovne posljedice
Za poduzeća koja žele uvesti AI rješenja, poruka je nedvosmislena: gledajte širu sliku. Samo uspoređivanje cijene po tokenu i točnosti nije dovoljno; treba uzeti u obzir ukupnu potrošnju resursa. „Bolja token-učinkovitost zatvorenih modela često nadoknađuje njihovu višu cijenu API-ja”, navode autori.
Zatvoreni modeli, dodaju, vidljivo optimiziraju potrošnju, dok otvoreni nerijetko povećavaju broj tokena u nastojanju da poboljšaju razmišljanje modela. Stoga istraživači pozivaju zajednicu da učinkovitost tokena postavi uz bok točnosti kao primarni cilj budućeg razvoja.
U utrci za „pametniji” AI, ova studija podsjeća da se prava bitka možda vodi na drugom terenu: onome tko će izgraditi najučinkovitiji model, jer u svijetu gdje se svaki token plaća – rasipništvo košta.