Američki institut za umjetnu inteligenciju Ai2 predstavio je novu obitelj jezičnih modela nazvanu Bolmo, osmišljenu da izravno obrađuje sirove UTF-8 bajtove umjesto klasičnog tokeniziranog teksta.
Bolmo dolazi u dvije veličine – Bolmo 7B i Bolmo 1B – i prema navodima instituta predstavlja „prvi potpuno otvoreni bajtni jezični model”. Inženjeri su postojeću arhitekturu Olmo 3 takoreći „pretvorili u bajtove”, zadržavši njezin kostur i sposobnosti, ali eliminirali potrebu za unaprijed definiranim rječnikom.
Zašto je to važno?
- Rad na razini bajta omogućuje modelu da se jednako snalazi u pogrešno napisanim riječima, rijetkim jezicima ili neuobičajenom tekstu.
- Time se smanjuje osjetljivost na šum u podacima – ključno za moderiranje sadržaja, rad na rubnim uređajima i višekulturne aplikacije.
- Poduzeća koja posluju na više jezika ili u ograničenim okruženjima mogu smanjiti operativnu složenost jer nema potrebe za održavanjem zasebnih tokenizatora.
Ai2 tvrdi da Bolmo u nizu testova parira – pa i nadmašuje – postojeće bajtne i znakovne modele, a pritom se može trenirati i primjenjivati bez ponovnog učenja od nule. Time institut želi otvoriti vrata širem usvajanju tokenizator-slobodnih sustava u poslovnim okruženjima.
Dok tržište još procjenjuje stvarni domet nove tehnologije, Bolmo već privlači pozornost kao potencijalno pouzdanija i fleksibilnija osnova za višejezične, robusne AI rješenja.