Kad vam interni sustavi dnevno potroše oko 8 milijardi tokena, pogoniti sve upite kroz jedan golemi jezični model postaje preskupo i presporo. S tim se izazovom suočio AT&T, pa je tim pod vodstvom glavnog direktora za podatke Andyja Markusa iz temelja preradio orkestracijski sloj svog internog asistenta Ask AT&T.
Umjesto jednog modela, postavljena je hijerarhija „super-agenata“ i manjih radnih agenata izgrađena na otvorenoj platformi LangChain. Veći modeli danas upravljaju flotom specijaliziranih, ciljno usmjerenih malih jezičnih modela (SLM-ova) koji obavljaju konkretne zadatke, od analize dokumenata do pisanja SQL upita. Prema Markusu, takav pristup donio je:
• do 90 % niže troškove obrade, • znatno manju latenciju i brže odgovore, • podjednaku točnost u specifičnim domenama.
„I believe the future of agentic AI is many, many, many small language models (SLMs)“, poručuje Markus, uvjeren da je granularnost ključ za ekonomičnu automatizaciju.
Najnoviji iskorak je Ask AT&T Workflows, grafički „drag-and-drop“ alat koji zaposlenicima omogućuje slaganje vlastitih agenata i automatizaciju procesa. Rješenje se izvodi u Microsoftovu oblaku Azure, dok agenti koriste internu zbirku servisa za obradu dokumenata, konverziju prirodnog jezika u SQL te analizu slika.
Markus ističe da agenti stalno barataju isključivo AT&T-jevim podacima, čime se osigurava relevantnost i sigurnost: „We're asking questions of our data, and we bring our data to bear to make sure it focuses on our information as it makes decisions.“
Pilot pokazatelji sugeriraju da bi modulani skup manjih modela mogao postati standard za korporativne AI sustave – pogotovo ondje gdje se balansiraju preciznost, brzina i trošak.