Start-up Groq objavio je dva poteza kojima želi uzdrmati dominaciju Amazon Web Servicesa, Googlea i Microsofta u tržištu AI inferencije.
• Puna podrška za Qwen3 32B
Groq je na vlastitoj infrastrukturi omogućio rad Alibabina jezičnog modela Qwen3 32B s cijelim kontekstnim prozorom od 131 000 tokena. Tvrtka tvrdi da nijedan drugi „brzi” pružatelj inferencije trenutačno ne nudi toliku količinu konteksta uz usporedive performanse.
Prema mjerenju neovisne kuće Artificial Analysis, Groq isporučuje oko 535 tokena u sekundi, što omogućuje obradu dugih dokumenata i složenih zadataka u stvarnom vremenu. Cijena usluge iznosi 0,29 USD za milijun ulaznih i 0,59 USD za milijun izlaznih tokena – ispod cijena mnogih konkurenata.
Ključ leži u Groqovu vlastitom Language Processing Unit čipu, građenom specijalno za inferenciju, za razliku od općih GPU-ova na koje se oslanjaju veći pružatelji.
• Integracija s Hugging Faceom
Istovremeno je Groq postao službeni inference-provider na platformi Hugging Face, s izravnim odabirom u Playgroundu i API-ju te naplatom preko Hugging Face računa. Osim Qwen3 32B, podržani su i modeli Meta Llama, Google Gemma i drugi.
Zahvaljujući tom potezu Groq dolazi pred milijune razvojnih inženjera koji svakodnevno koriste Hugging Face, čime si otvara prostor za brzi rast prometa, ali i pritiske na održavanje performansi u globalnom mjerilu.
• Što slijedi?
Tvrtka trenutno obrađuje više od 20 milijuna tokena u sekundi iz podatkovnih centara u SAD-u, Kanadi i na Bliskom istoku te planira daljnje širenje. Ipak, suočava se s golemoj konkurencijom infrastrukturnih divova poput AWS-a, Google Vertex AI-ja i Azure OpenAI-ja, koji raspolažu neusporedivo većim resursima.
Groq vjeruje da će potražnja za inferencijskim kapacitetom „eksponencijalno rasti” i da će volumen nadoknaditi niske marže: „Čak i kad bismo ove godine udvostručili planiranu infrastrukturu, i dalje ne bi bilo dovoljno kapaciteta za današnju potražnju”, poručuju iz tvrtke.
Prema procjeni Grand View Researcha, tržište čipova za AI inferenciju moglo bi do 2030. vrijediti 154,9 milijardi USD. Ako Groq ispuni obećanja o brzini i trošku, korisnici će dobiti jeftiniju alternativu za aplikacije koje zahtijevaju velike kontekstne prozore – od pravne analize do složenog „reasoning” koda. U suprotnom, rizik oslanjanja na manjeg dobavljača mogao bi nadmašiti potencijalnu uštedu.
Za sada, developerska zajednica dobila je još jednu visokoperformansnu opciju, dok tržište prati može li specijalizirani hardver dugoročno parirati globalnim oblakuša.