Tvrtke sve češće pretpostavljaju da dobri AI sustavi traže sve veće količine računalne snage. No Sasha Luccioni, voditeljica za klimatske utjecaje u kompaniji Hugging Face, upozorava da je važnije „pametno, a ne jače” računati.
„Zaslijepila nas je mantra da trebamo više FLOPS-a, GPU-a i vremena”, rekla je Luccioni. Istaknula je pet lekcija koje, po iskustvu Hugging Facea, podjednako vrijede za male start-upove i korporacije.
-
Prilagodite model zadatku
• Specijalizirani ili destilirani modeli često postižu jednaku, pa i bolju točnost od velikih LLM-ova uz 20 do 30 puta manju potrošnju energije.
• Primjer DeepSeek R1 pokazuje da se iz golemog modela mogu izvesti destilirane verzije 10–30 puta manje, koje rade na jednoj grafičkoj kartici.
• Otvoreni modeli skraćuju vrijeme i trošak jer ih nije potrebno trenirati od nule. -
Ugradite učinkovitost kao zadanu opciju
• Korištenjem „teorije poticaja” (nudge) skupe funkcije trebaju biti — isključene.
• Generativni sažeci u tražilicama ili „pun način rezoniranja” kod chat-botova trebali bi se uključivati samo kad korisnik to zatraži. -
Iskoristite hardver do kraja
• Serijsko obrađivanje zahtjeva (batching), snižena preciznost i fino podešene veličine paketa smanjuju potrošnju memorije i struje.
• Optimalna veličina paketa ovisi o vrsti GPU-a; povećanje samo za +1 može naglo podići potrošnju energije. -
Nagradite energetsku transparentnost
• Hugging Face je uveo ljestvicu AI Energy Score s ocjenama od jedne do pet zvjezdica, „energijski certifikat” za modele.
• Rang-lista će se ažurirati dvaput godišnje kako bi graditelji modela težili što višem rejtingu. -
Preispitajte dogmu „više je bolje”
• Prije kupnje novih GPU klastera postavite pitanje: „Koji je najpametniji put do cilja?”
• U mnogim slučajevima bolja arhitektura i pažljivo odabrani podaci nadmašuju grubo skaliranje.
Luccioni zaključuje: „Ljudi vjerojatno ne trebaju onoliko GPU-ova koliko misle. Potrebno je razmisliti koje zadatke AI rješava i što će dodatne kartice zapravo donijeti.”