# qwen

Manifest AI predstavio je Brumby-14B, model koji zamjenjuje pažnju rekurentnim slojem „power retention” i dostiže performanse transformera uz desetostruko manji trošak.

Znanstvenici iz Urbana-Champaigna tvrde da podešavanje samo dijela neuronske mreže sprječava „katastrofalni zaborav” i smanjuje troškove finog treniranja velikih jezičnih modela.