Istraživači s američkog Massachusetts Institute of Technology (MIT) objavili su metodologiju nazvanu SEAL (Self-Adapting LLMs) koja velikim jezičnim modelima poput onih u pozadini ChatGPT-a omogućuje da samostalno stvaraju sintetičke podatke i njima se dodatno treniraju.
Prema radu koji je prvo predstavljen u lipnju, a proširen i ažuriran prošlog mjeseca, SEAL mijenja uobičajeni pristup fine-tuningu. Umjesto oslanjanja na statične skupove podataka i ručno izrađene optimizacijske postupke, model generira vlastite primjere i smjernice za učenje pa se „evolucija” odvija bez interventnog sudjelovanja čovjeka.
Ključne novosti:
• Autonomno stvaranje sintetičkih podataka: model analizira vlastite slabosti, potom sastavlja primjerne upite i odgovore koji mu pomažu popuniti „rupe” u znanju.
• Automatske optimizacijske upute: uz generirane podatke model proizvodi i upute kako se njima najbolje trenirati, čime se eliminira potreba za zasebnim inženjerskim procesom.
• Otvoreni kod i komercijalna licenca: algoritmi su objavljeni na GitHubu pod MIT licencom, što omogućuje slobodnu primjenu u istraživačkim i poslovnim okruženjima.
Rad potpisuju članovi MIT-ova Improbable AI Laba – Adam Zweiger, Jyothish Pari, Han Guo, Ekin Akyürek, Yoon Kim i Pulkit Agrawal. Tehnika je nedavno predstavljena na 39. konferenciji Neural Information Processing Systems (NeurIPS 2025), a posljednjih dana privlači sve veću pozornost zajednice na društvenoj mreži X.
Stručnjaci ističu da bi se SEAL mogao koristiti za bržu prilagodbu modela specifičnim domenskim zadacima, uz manju potrebu za skupljanjem i označavanjem stvarnih podataka. Ipak, ostaje otvoreno pitanje kako će se sintetički generirani sadržaj odraziti na dugoročnu pouzdanost i pristranost modela – izazov o kojem će se, sudeći prema rastućem interesu, tek raspravljati.