Langsmart, tvrtka specijalizirana za upravljanje korporativnom umjetnom inteligencijom, objavila je da je njezina platforma Smartflow prošla detaljnu evaluaciju u jednoj financijskoj instituciji iz sastava Fortune 200. Testiranje je provedeno na skromnom lokalnom poslužitelju (4 vCPU-a, 8 GB RAM-a) u Docker konteneru i, prema navodima kompanije, donijelo više ključnih rezultata:
- 10,2 puta brži odziv – prosječno vrijeme odgovora smanjeno je s 2,2 sekunde na 220 milisekundi zahvaljujući semantičkoj predmemoriji.
- p95 latencija od 285 ms – ostvarena je unutar ciljanih 500 ms koje globalne financijske kuće postavljaju kao uvjet za produkcijske sustave.
- 40–50 % točnih pogodaka predmemorije pri pragu sličnosti 0,95, što je ubrzalo sve ispitivane radne zadatke.
- 24/24 uspješnih automatskih provjera stabilnosti, latencije i graničnih vrijednosti.
Izvršni direktor i osnivač Craig Alberino ocijenio je da rezultati otvaraju pitanje sigurnosti podataka unutar oblaka: „Za bankarstvo, osiguranje i zdravstvo slanje promptova i odgovora modela trećoj strani u oblaku predstavlja rizik. Smartflow taj rizik uklanja jer se u potpunosti izvršava unutar mreže klijenta, pritom pružajući performanse bolje od oblaka.”
Langsmart je pritom kritizirao manjak transparentnih mjerila u industriji AI gatewaya. Alberino je poručio: „Kupci u poduzećima zaslužuju stvarne brojke na stvarnom hardveru, a ne marketinške tvrdnje… Ako pružate infrastrukturu za poduzeća, pokažite mi p95.”
Analitičari predviđaju da će do 2028. čak 70 % razvojnih timova koristiti AI pristupne točke, no tvrtka tvrdi da malo tko objavljuje ključne metrike poput p95 ili p99 latencije. Objavljivanjem potpunog metodološkog opisa Langsmart poziva konkurente da usvoje jedinstvene, javno dostupne standarde testiranja.
Cilj je, naglašavaju, dati CISO-ima i CTO-ima jasne podatke kako bi mogli uvesti AI alate bez kompromisa između sigurnosti i brzine rada.