Kad je OpenAI u prosincu pao, jednom od klijenata tvrtke TrueFoundry svaka sekunda nedostupnosti značila je tisuće dolara gubitka i pacijente koji nisu mogli na vrijeme doći do lijekova. Sustav za nadopunu recepata oslanjao se na velike jezične modele; bez njih, ljekarne su stajale.
Na takve scenarije ciljano odgovara TrueFailover, novi proizvod koji je inženjerska ekipa iz San Francisca predstavila u srijedu. Riječ je o sustavu koji prati rad pružatelja AI usluga i čim otkrije prekid, usporavanje ili pad kvalitete odgovora, automatski preusmjerava promet na pričuvne modele ili podatkovne centre — prije nego što krajnji korisnik primijeti problem.
„The challenge is that in the AI world, failover is no longer that simple…“ poručio je suosnivač i izvršni direktor Nikunj Bajaj, objašnjavajući da, osim samog prebacivanja, treba paziti na latenciju, konzistentnost odgovora i kompatibilnost upita između različitih modela.
Prema internim procjenama tvrtke, organizacije koje dnevno obrađuju milijune API poziva mogu izgubiti desetke tisuća dolara po satu ako se oslanjaju samo na jednog pružatelja LLM-a. TrueFailover želi taj rizik svesti na minimum: sustav kontinuirano testira performanse više modela, održava sinkronizirane upute i promptove te, u trenutku detektiranog problema, „prebacuje sklopku” bez ljudske intervencije.
TrueFoundry tvrdi da je rješenje posebno relevantno za zdravstvo, financije i e-trgovinu, gdje su i sekunde zastoja skupe, a regulatorni okvir strogo kažnjava pogreške. Tvrtka zasad nije otkrila cijenu usluge, ali je najavila pilot-programe s postojećim klijentima tijekom prvog tromjesečja 2026.