Dok tvrtke ubrzano uvode sustave temeljene na velikim jezičnim modelima, sve je očitiji raskorak između obećanja demo-verzija i stvarnosti u produkciji. Klasična RAG metoda – ugradnja, pronalaženje pa generiranje odgovora – često pogrešno tumači namjeru korisnika, preopterećuje kontekst i ignorira ažurnost podataka, što korisnike odvodi na krive staze.
Ključni pokazatelji problema • Istraživanje Covea pokazalo je da 72 % internih pretraga u poduzećima ne donosi relevantan odgovor iz prvog pokušaja. • Gartner bilježi da većina implementacija konverzacijskog AI-a ne ispunjava očekivanja, unatoč procjeni da će globalno tržište te tehnologije do 2032. narasti na 36 milijardi dolara.
Što ne valja s RAG-om? Primjeri iz telekomunikacija, zdravstva i maloprodaje otkrivaju isti obrazac: sustav daje samouvjeren, ali netočan odgovor, pa frustrirani korisnici potraže podršku uživo – često još nezadovoljniji. U telekom sektoru promet prema pozivnim centrima je, nakon uvođenja AI chatbota, čak porastao. U bolnicama pacijenti dobivaju zastarjele informacije o formulama lijekova, a maloprodajni pretraživači izbacuju odavno rasprodane artikle.
Namjera-prvo arhitektura Umjesto da se upit odmah gura u golemi kontekst, pristup „namjera-prvo” prvo koristi manji model koji odredi što korisnik zapravo želi i koji izvor podataka treba konzultirati. Tek tada se velike modele upreže za formuliranje konačnog odgovora. Autor koncepta, vodeći arhitekt AI-rješenja za neke od najvećih telekoma i zdravstvenih sustava, tvrdi da upravo takav slojeviti dizajn odvaja uspješne višemilijunske projekte od onih koji propadnu.
Zaključak Utrka za udjelom u tržištu vrijednom 36 milijardi dolara vodi mnoga poduzeća da prečacem uvedu LLM-ove, ali bez promjene arhitekture rezultati ostaju razočaravajući. Prvi korak prema točnijem, svježem i kontekstualno pogođenom odgovoru jest – razumjeti korisnikovu namjeru prije nego što se model upregne u generiranje teksta.