Baseten, sanfranciska tvrtka za AI infrastrukturu procijenjena na 2,15 mlrd USD, predstavila je Baseten Training – uslugu kojom želi olakšati treniranje i doradu otvorenih modela te time smanjiti ovisnost poduzeća o skupljim, zatvorenim sustavima poput GPT-a.
„I dalje smo prvenstveno inference kompanija. Razlog zbog kojeg radimo trening jest da služimo inferenciji”, naglasio je osnivač i direktor Amir Haghighat prilikom predstavljanja proizvoda.
Od neuspjelog Blueprints-a do nove strategije
Prvi Basetenov pokušaj ulaska u trening, rješenje Blueprints, neslavno je propao zbog, kako kaže Haghighat, „previsokog sloja apstrakcije” koji je korisnicima otežavao izbor modela i hiperparametara. „We became consultants”, prisjetio se, ističući da startup nije želio završiti u savjetničkim vodama.
Nova je platforma zato spuštena na infrastrukturnu razinu: korisnici pišu vlastiti kod i zadržavaju potpunu kontrolu nad podacima i težinama modela, a Baseten upravlja GPU klasterima, orkestracijom i kapacitetom.
Tehničke novosti
• podržano više čvorova na klasterima H100 i B200 GPU-a; • automatski checkpointovi za oporavak od ispada; • zakazivanje poslova unutar jedne minute; • integracija s vlastitim sustavom Multi-Cloud Management (MCM), koji kapacitet vuče iz više oblaka bez višegodišnjih ugovora.
„I understand why from their perspective … The sticky part is in inference, the valuable part where value is unlocked is in inference, and ultimately the revenue is in inference”, objasnio je Haghighat zašto konkurenti zaključavaju težine, a Baseten ih prepušta korisniku.
Prvi rezultati na terenu
• Oxen AI je čitavo iskustvo klijenta sagradio na Basetenovoj infrastrukturi. Njegov korisnik AlliumAI smanjio je trošak inferencije za 84 % – s 46 800 na 7 530 USD.
• Parsed koristi platformu za specijalizirane modele u zdravstvu, financijama i pravu. Nakon prelaska na Baseten latencija transkripcije pala je 50 %, a u 48 sati podignut je HIPAA-kompatibilan klaster u EU. Do sada su pokrenuli više od 500 trening poslova.
„Fast models matter … Baseten gives us both — the performance edge today and the infrastructure for continuous improvement”, istaknuo je suosnivač Parsed-a Charles O'Neill.
Šira slika
Baseten se tako suprotstavlja hiperskalerima (AWS, Azure, Google Cloud) i specijaliziranim pružateljima GPU resursa, ali i vertikalno integriranim platformama koje trening koriste kao mehanizam vezivanja korisnika. Tvrtka računa na tri oslonca:
- MCM za dinamično prebacivanje radnih opterećenja među cloudovima;
- inženjersko znanje skupljeno optimizacijom inferencije;
- iskustvo krojeno za produkciju, a ne samo eksperimentiranje.
Nedavna runda ulaganja od 150 mil. USD osigurava kapital za paralelan razvoj treninga i inferencije. Među većim klijentima su Descript (transkripcija), Decagon (AI za korisničku podršku) i Sourcegraph (asistenti za programere) – svi segmenti gdje prilagođeni modeli i brzina čine konkurentsku prednost.
Haghighat zaključuje da će otvoreni modeli, potpomognuti fine-tuningom, u uskome spektru zadataka brzo sustići zatvorene alternative. Baseten nastoji biti „tračnica” koja cijeli put – od treniranja preko fine-tuninga do brze, pouzdane inferencije – čini nevidljivim, ali presudnim za poslovni uspjeh.