ScaleOps je proširio svoju platformu za upravljanje cloud resursima novim proizvodom namijenjenim tvrtkama koje pokreću vlastite modele velikih jezika i druge GPU-intenzivne AI aplikacije. AI Infra Product, kako ga naziva tvrtka, već radi u produkcijskim okruženjima te, prema internim brojkama, smanjuje troškove GPU-a između 50 i 70 %.
„Cloud-native arhitekture donijele su fleksibilnost i kontrolu, ali i novu razinu složenosti”, rekao je suosnivač i izvršni direktor ScaleOpsa Yodar Shafrir. „Managing GPU resources at scale has become chaotic—waste, performance issues, and skyrocketing costs are now the norm.”
Ključne značajke • Platforma u stvarnom vremenu dodjeljuje i skalira GPU resurse, prilagođavajući se prometnim šiljcima bez promjena u postojećem kodu ili deployment pipelineu. • Radi na svim Kubernetes distribucijama te u oblaku, podatkovnim centrima i zračnim jazovima. • Instalacija se, prema ScaleOpsu, svodi na „dvominutni” postupak uz jedan Helm flag, a optimizacija se uključuje jednim potezom.
Shafrir naglašava da sustav koristi „proactive and reactive mechanisms to handle sudden spikes without performance impact” i da „ensures instant response when traffic surges”, čime smanjuje hladni start velikih modela. Platforma ne mijenja manifeste niti remetí postojeće raspoređivače, već „enhances schedulers, autoscalers, and custom policies by incorporating real-time operational context”.
U praksi, ScaleOps klijentima nudi punu vidljivost iskorištenosti GPU-a i ponašanja modela na razini podova, workloada, čvorova i klastera, uz mogućnost finog podešavanja zadanih politika skaliranja.
Rezultati ranih korisnika • Kreativni softverski div s tisućama GPU-ova povisio je prosječnu iskorištenost s 20 % na znatno višu razinu, konsolidirao neiskorištene resurse i prepolovio troškove, istodobno spuštajući latenciju za 35 %. • Globalna gaming kompanija, koja na stotine GPU-ova izvršava dinamičan LLM workload, povećala je iskorištenost sedmerostruko i projicira 1,4 milijuna dolara godišnje ušteđenih troškova.
Tvrtka ne objavljuje javni cjenik: potencijalni kupci dobivaju ponudu prilagođenu veličini i potrebama infrastrukture. ScaleOps tvrdi da uštede na GPU-ovima nadmašuju cijenu korištenja platforme, što, kako kažu, potvrđuju i korisnici s ograničenim budžetima.
S rastom broja samostalno hostanih AI modela, složeno upravljanje GPU-ovima postaje jedna od najvećih prepreka za korporacije. ScaleOps ovim proizvodom nastoji ponuditi objedinjeni, automatizirani odgovor na taj izazov i, kako navodi Shafrir, „complete solution for managing and optimizing GPU resources in cloud-native environments”.