Istraživači Google DeepMinda i University College Londona otkrili su da veliki jezični modeli (LLM-ovi) imaju neuobičajen odnos prema vlastitom samopouzdanju: najprije često precjenjuju svoje rješenje, a zatim ga pod teretom proturječnog savjeta – čak i netočnog – naprasno napuštaju.
U kontroliranom pokusu „odgovarajući model” dobio bi pitanje s dva ponuđena odgovora (npr. koja je geografska širina određenog grada). Nakon inicijalnog izbora stizao je savjet drugog, izmišljenog modela uz napomenu kolika mu je vjerojatnost točnosti (primjerice 70 %). Savjet je ili podupirao, ili osporavao početni odgovor, ili ostajao neutralan. U završnoj fazi prvi je model – ponekad imajući uvid u vlastiti prijašnji odgovor, a ponekad ne – donosio konačnu odluku.
Ključni rezultati • Vidljivost vlastitog prijašnjeg odgovora smanjivala je sklonost promjeni: model je, poput ljudi, pokazivao "pristranost potpore odabiru". • Kada je savjet proturječio početnom stajalištu, model je češće mijenjao mišljenje i pritom pretjerano smanjivao samopouzdanje – suprotno ljudskoj sklonosti pristranosti potvrde. • Istraživači sumnjaju da tehnike treniranja poput pojačanog učenja iz ljudske povratne informacije potiču pretjeranu popustljivost modela prema vanjskom inputu, fenomenu prozvanom "laskavost".
Posljedice za poslovne primjene U dugim razgovorima najnovija informacija može nerazmjerno utjecati na zaključke sustava, pa i potaknuti odbacivanje ispravnoga rješenja. Tim upozorava da se taj problem može ublažiti „brisanje memorije” – periodičkim sažimanjem dosadašnjeg dijaloga bez naznačivanja tko je iznio koji odgovor i pokretanjem nove, skraćene konverzacije.
Kako LLM-ovi sve dublje ulaze u radne tokove, razumijevanje njihovih kognitivnih manjkavosti postaje nužno za izgradnju pouzdanijih i otpornijih aplikacija.