Databricks je predstavio istraživanje koje, kako tvrdi tvrtka, drastično snižava cijenu rada velikih jezičnih modela (LLM-ova). Ključ je u tehnici GEPA (Generative Evolutionary Prompt Adaptation) ugrađenoj u njihov sustav Agent Bricks, lansiranom u lipnju.
Tvrtka navodi da GEPA prilagođava sam upit umjesto da mijenja težine modela, nalik tome kako ljudi preformuliraju pitanje kako bi dobili bolji odgovor. Metoda koristi „natural language reflection” – model sam kritizira vlastite odgovore i kroz više iteracija pronalazi optimalni način postavljanja pitanja.
Rezultati: • u financijskom, pravnom, trgovačkom i zdravstvenom segmentu GEPA je podigla točnost 4–7 postotnih bodova iznad početnih vrijednosti; • pri 100 000 zahtjeva optimizirani otvoreni model postiže usporedivu kvalitetu uz 1/90 troška serviranja u odnosu na komercijalni model najvišeg ranga; • u usporedbi s nadziranim dorađivanjem (supervised fine-tuning) postiže slične ili bolje rezultate uz 20 % niže troškove posluživanja.
„Prompt optimization is not really taking an existing query and just optimizing its execution, it’s actually changing the query itself”, izjavio je Hanlin Tang, glavni tehnološki direktor za neuronske mreže u Databricksu. Dodao je da sustav „može sam otkriti najbolji način kako upitati model”.
Integracija s GPT-5 Paralelno je najavljeno partnerstvo s OpenAI vrijedno (prema procjeni Databricksa) 100 milijuna dolara budućeg prihoda. GPT-5 bit će izravno dostupan na Databricks platformi, bez zasebnih API ključeva ili vanjskih ugovora. Korisnici će tako moći pozivati GPT-5 i kroz SQL naredbe, primjerice za prijevod tabličnih podataka.
Time se nadopunjuje postojeća strategija „više modela” koja već uključuje Anthropic i Googleove Gemini modele.
Tri preporuke za tvrtke
- Izgraditi čvrst sustav evaluacije prije implementacije agenata.
- Preispitati automatizam oslanjanja na fine-tuning jer optimizacija prompta može pružiti istu ili višu kvalitetu uz nižu cijenu.
- Pri nabavi modela uzeti u obzir da povoljniji model, uz naknadnu optimizaciju, može nadmašiti skuplju varijantu.
Zaključak: prema tvrdnjama Databricksa, barijera cijene za vrhunske AI performanse znatno je snižena, a oni koji ranije ulože u optimizaciju mogli bi steći dugoročnu prednost.