Tvrtke koje masovno primjenjuju umjetnu inteligenciju sve češće nailaze na nevidljiv „zid” brzine kada veliki jezični modeli moraju odgovarati na sve raznolikije upite. Uzrok leži u statičnim spekulantima – manjim pomoćnim modelima koji, tijekom takozvanog spekulativnog dekodiranja, unaprijed predviđaju više tokena kako bi skratili vrijeme rada glavnog modela. Kada se radni zadaci promijene, preciznost tih spekulanata naglo pada i s njom sve prednosti.
Startup Together AI, osnovan 2023. i već financiran sa 305 milijuna dolara, predstavio je rješenje: ATLAS – AdapTive-LeArning Speculator System. Interna mjerenja pokazuju da sustav donosi i do 400 % brže izvođenje u odnosu na uobičajene engineove poput vLLM-a, a pri potpunoj prilagodbi postiže oko 500 tokena u sekundi na modelu DeepSeek-V3.1 pokrenutom na Nvidia B200 GPU-ovima – brže čak i od nekih specijaliziranih čipova.
Ključni elementi ATLAS-a:
• statični spekulant – „težak” model treniran na širokom skupu podataka pruža stabilnu početnu osnovu;
• adaptivni spekulant – lagani model koji se u hodu uči iz živog prometa i prilagođava novim domenama;
• kontrolor svjesan pouzdanosti – softverski sloj koji u realnom vremenu odlučuje kojem spekulantu dati prednost i koliko daleko „pogledati unaprijed”.
„Kada se programeri prebace s Pythona na Rust ili C, klasični spekulanti više ne pogađaju i brzina pada. Adaptivni pristup to otklanja”, objašnjava glavni znanstvenik Tri Dao. Kolega Ben Athiwaratkun dodaje da korisnici „ne moraju dirati nikakve parametre – sve se optimira iza kulisa”.
ATLAS se oslanja na cijeli niz optimizacija: FP4 kvantizacija donosi oko 80 % ubrzanja u odnosu na FP8, statični Turbo spekulant još 80–100 %, a adaptivni sloj dodatno gomila dobitke. Suština je u boljem iskorištenju GPU-a. Generiranje tokena jedno po jedno opterećuje memoriju, dok spekulant predlaže pet tokena odjednom; glavnom modelu tada je potreban samo jedan pristup memoriji za provjeru, a ne pet, pa se „prazni hod” pretvara u korisni izračun.
Za inženjere infrastrukture sustav se može promatrati kao „pametni cache” – umjesto da pohranjuje točne odgovore, uči obrasce i sve bolje predviđa što će veliki model izreći. Posebno se ističu dvije primjene: treninzi pojačanim učenjem (RL), gdje se politika stalno mijenja, i brzorastuća korporativna okruženja u kojima se chatbotovi pretvaraju u alate za pisanje koda, automatizaciju računovodstva ili upravljanje sustavima.
ATLAS je već aktiviran na namjenskim krajnjim točkama Together AI-ja bez dodatne naknade za više od 800 000 registriranih developera. Šire gledano, najava signalizira zaokret cijele industrije: softverske adaptivne tehnike na standardnom hardveru sve češće sustižu, pa i nadmašuju specijalizirana rješenja, što bi moglo dramatično preusmjeriti ulaganja u AI infrastrukturu.