Istraživači s Massachusetts Institute of Technology, laboratorija Improbable AI i ETH Züricha predstavili su metodu „self-distillation fine-tuning” (SDFT) koja velikim jezičnim modelima omogućuje usvajanje novih vještina bez gubitka postojećih znanja.
Za razliku od klasičnog nadziranog dorađivanja, SDFT iskorištava urođenu sposobnost modela za učenje u kontekstu: sustav prvo proučava primjere, zatim samostalno generira dodatne pokuse te se na vlastitim rezultatima dodatno usavršava. U pokusima je ta strategija dosljedno nadmašila standardno dorađivanje i ublažila uobičajene nedostatke pojačanog učenja.
Poduzećima to otvara mogućnost održavanja samo jednog modela koji s vremenom kumulira specijalizirane vještine – od obrade internih dokumenata do izrade sažetaka ili vođenja korisničke podrške – a da pri tome ne gubi opće rezoniranje niti zahtijeva skupe cikluse ponovnog treniranja. Drugim riječima, SDFT bi mogao postati temelj prilagodljivih AI agenata spremnih za dinamične poslovne potrebe.