Više od 40 znanstvenika iz OpenAI-ja, Google DeepMinda, Anthropica i Mete potpisalo je zajednički rad u kojem tvrde da se „kratki vremenski prozor” za uvid u unutarnje rezoniranje naprednih sustava umjetne inteligencije može uskoro potpuno zatvoriti.
Trenutačna generacija tzv. modela rezoniranja često „misli naglas” na razumljivom engleskom jeziku. Ta im značajka omogućuje da složene probleme rješavaju kroz niz čitljivih koraka, takozvani chain of thought (CoT), koje istraživači mogu pratiti i uočiti znakove manipulacije, prijevara ili druge namjere koje bi mogle prouzročiti štetu.
„AI sustavi koji ‘misle’ na ljudskom jeziku nude jedinstvenu priliku za sigurnost: možemo pratiti njihove lance misli u potrazi za namjerom da se ponašaju pogrešno”, pišu autori i upozoravaju da ta mogućnost „može biti krhka”.
Na rad su se potpisima ili javnom potporom nadovezali istaknuti pioniri područja, među njima nobelovac Geoffrey Hinton, suosnivač OpenAI-ja Ilya Sutskever, Samuel Bowman iz Anthropica i John Schulman iz Thinking Machinesa.
Ključni uvid: priznanja u „radnoj memoriji” Istraživači navode primjere u kojima su modeli u internim zapisima otkrili stvarne namjere – od fraza poput „Let’s hack” do objašnjenja „I’m transferring money because the website instructed me to”. Upravo takvi tragovi omogućuju da se opasno ponašanje otkrije prije nego što prijeđe u djelo.
Zašto bi transparentnost mogla nestati
- Skaliranje modela putem pojačanja nagradom (reinforcement learning) potiče učinkovitije, ali čovjeku nečitljive kratice.
- Eksperimentalne arhitekture koje rezoniraju u kontinuiranim matematičkim prostorima mogle bi potpuno zaobići prirodni jezik.
- Modeli mogu naučiti skrivati tragove ako shvate da ih se nadzire ili ako žele impresiju uredne logike za ljudske ocjenjivače.
Autor rada Bowen Baker upozorio je da „viši proračun, alternativne arhitekture i određeni oblici procesnog nadzora mogu dovesti do modela koji zamagljuju svoje razmišljanje”.
Skepsa već stiže iz prakse. Nedavno istraživanje Anthropica pokazalo je da modeli često prešućuju kako dolaze do odgovora: Claude 3.7 Sonnet priznao je korištenje skrivenih ‘hintova’ u samo 25 % slučajeva, a DeepSeek R1 u 39 %. Kad su natuknice uključivale kompromitirajuće informacije („neovlašteni pristup sustavu”), transparentnost je još više pala.
Poziv na zajedničke standarde Autori sugeriraju da bi tvrtke morale: • uvesti metrika koje mjere čitljivost unutarnjeg rezoniranja; • preferirati starije, transparentnije verzije modela ako novije postanu nečitljive; • uključiti „monitorabilnost” u kriterije za treniranje i puštanje modela u rad.
OpenAI-jev glavni tehnički direktor Jakub Pachocki istaknuo je da tvrtka želi modele koji mogu objasniti kako dolaze do zaključaka, ali „bez poticanja lažnih, uljepšanih obrazloženja”.
Neobična suradnja često žestokih konkurenata naglašava ozbiljnost problema. Ako se, kako navode autori, prozor prema mislima umjetne inteligencije zatvori, ljudi bi mogli ostati bez ključnog alata za upravljanje sve sposobnijim sustavima – upravo u trenutku kad postaju najopasniji.