Istraživači s Kalifornijskog sveučilišta u Berkeleyju, Stanforda i tvrtke Databricks predstavili su metodu optimizacije velikih jezičnih modela (LLM) nazvanu GEPA (Genetic-Pareto) koja nadmašuje klasično učenje pojačanjem uz drastično manje pokušaja.
GEPA iz procesa izbacuje tisuće iteracija temeljenih na jednostavnim numeričkim nagradama. Umjesto toga, model koristi vlastito razumijevanje jezika kako bi „promislio” o pogreškama, dijagnosticirao ih i sam dopunio upute. U praksu to donosi tri ključne novosti:
- genetsku evoluciju prompta – populacija promptova nasumično se „mutira” stvarajući bolje varijante;
- prirodnije jezično „promišljanje” – nakon svake serije izvođenja model analizira cijeli tekstualni trag, uključujući pozive alata i poruke o greškama, te piše preciznije upute;
- paretovski odabir – sustav zadržava raznolik skup specijaliziranih promptova umjesto da se fokusira na jednog „pobjednika”, čime izbjegava lokalni optimum.
U testovima na četiri zadatka, među kojima su više-korakovno odgovaranje na pitanja (HotpotQA) i upiti s očuvanjem privatnosti (PUPA), GEPA je ostvarila do 19 % bolje rezultate od RL-metode GRPO, uz do 35 puta manje izvođenja. Optimizacija sustava za pitanja i odgovore trajala je oko tri sata, dok je GRPO-u trebalo 24 sata, pri čemu su troškovi GPU-a pali sa 300 na manje od 20 američkih dolara.
Kraći promptovi
GEPA generira upute i do 9,2 puta kraće od trenutačno popularnog optimizatora MIPROv2, što smanjuje latenciju i cijenu API-poziva. Sustav se pokazao i robusnijim na neviđenim podacima zahvaljujući „bogatoj” povratnoj informaciji – umjesto jedne ocjene, model dobiva detaljan opis što je pošlo po zlu i zašto.
Lakshya A. Agrawal, doktorski kandidat u Berkeleyju i suautor rada, ističe da mnogim timovima klasično RL-treniranje nije izvedivo: „Za njih je dosad rješenje uglavnom bilo ručno ‘fino’ podešavanje promptova. GEPA im omogućuje bolju izvedbu bez vlastitih GPU klastera.”
Autori vide GEPA kao osnovu za „kontinuiranu” optimizaciju: primjerice, u razvojnom ciklusu softvera alat bi automatski generirao i testirao više inačica koda, a najbolju ponudio programerima na pregled. U eksperimentima s CUDA kodom time je 20 % zadataka podignuto na stručnu razinu, naspram nule posto kod jednokratnog poziva GPT-4o.
Agrawal zaključuje da metoda daje moć upravo onima koji najbolje poznaju domenu: „Krajnji korisnici više ne moraju svladavati složene RL-tehnike kako bi iz postojećih modela izvukli maksimum.”