Databricks je objavio novu arhitekturu nazvanu Instructed Retriever koja, prema internim mjerenjima, postiže do 70 % bolje rezultate od tradicionalnog RAG-a u složenim, instrukcijski bogatim poslovnim upitima.
„Pogreške AI-agenta često ne nastaju zato što model ne zna zaključivati, nego zato što ne uspije dohvatiti prave podatke”, naglasio je istraživački direktor Databricksa Michael Bendersky.
Ključni nedostatak klasičnog RAG-a • Tradicionalni RAG svaki upit tretira kao izolirano tekstualno podudaranje, zanemarujući bogate metapodatke poput vremenskih oznaka, autora, ocjena proizvoda ili tipa dokumenta. • Kada korisnik zatraži, primjerice, „pet zvjezdica u posljednjih šest mjeseci, bez brenda X”, sustav ne zna prevesti prirodni jezik u strukturirane filtre. • U ljudskoj pretrazi to se nadoknađuje ručnim filtriranjem; AI-agent, koji mora raditi autonomno, ostaje bez ključnih informacija.
Nova arhitektura donosi tri glavne nadogradnje
- Decompozicija upita – složeni zahtjevi pretvaraju se u niz strukturiranih pretraga s jasnim filtrima.
- Razumijevanje metapodataka – prirodni jezik automatski se prevodi u baze podataka: „od prošle godine” postaje vremenski filter, „recenzije s pet zvjezdica” ocjenski filter.
- Kontekstualna relevantnost – faza ponovnog rangiranja u obzir uzima punu instrukciju pa daje prednost dokumentima koji bolje odgovaraju namjeri, čak i kad je podudarnost ključnih riječi slabija.
Bendersky objašnjava da sustav „koristi API kao što bi ga koristio agent, a ne čovjek”, čime metapodatke pretvara u praktične upute za dohvat.
Sinergija s kontekstualnom memorijom Prošle je godine dio industrije skretao pozornost na tzv. kontekstualnu memoriju kao zamjenu za RAG. Bendersky smatra da su oba pristupa nužna: memorija drži sheme i primjere, dok napredni retriver dopire do goleme, razbacane baze dokumenata. „Ne možete sve u poduzeću staviti u memoriju”, upozorava on.
Praktična primjena i dostupnost Instructed Retriever ugrađen je u Databricks Agent Bricks i proizvod Knowledge Assistant te se automatski aktivira korisnicima bez dodatnog kodiranja. Kod nije otvoren, no tvrtka je istraživačkoj zajednici ustupila mjerilo StaRK-Instruct, a razmatra širu dostupnost.
Tehnologija se posebno ističe u financijama, e-trgovini i zdravstvu, gdje dokumenti obiluju strukturiranim atributima. Bez novog retrivera, navodi Bendersky, „korisnici moraju raditi dodatne poslove upravljanja podacima kako bi LLM dobio ispravne informacije”.
Poruka za poduzeća Organizacije koje su uložile u detaljno označene podatke riskiraju gubitak vrijednosti ako se oslanjaju na osnovni RAG. Databricksovi rezultati sugeriraju da je sofisticirana arhitektura retrivera postala nužna za sustave koji moraju slijediti kompleksne, višedijelne instrukcije nad heterogenim izvorima podataka.