Kineska istraživačka tvrtka DeepSeek ponovno je uzdrmala pretpostavke o troškovima i metodama razvoja umjetne inteligencije. Najnoviji model, nazvan DeepSeek-OCR, objavljen je s potpunim otvorenim kodom i težinama, a nudi ono što autori nazivaju „inverzijom paradigme” u obradi jezika: tekst pretvara u vizualni zapis i tako ga komprimira i do deset puta učinkovitije od uobičajenih tekstualnih tokena.
„Through DeepSeek-OCR, we demonstrate that vision-text compression can achieve significant token reduction (7-20×) for different historical context stages, offering a promising direction for addressing long-context challenges in large language models”, navodi se u službenom radu. U praksi to znači da bi budući jezični modeli mogli odjednom obuhvaćati desetke milijuna tokena – višestruko više od današnjih granica.
Programer i su-osnivač OpenAI-ja Andrej Karpathy u objavi je reagirao riječima: „Maybe it makes more sense that all inputs to LLMs should only ever be images… Even if you happen to have pure text input, maybe you'd prefer to render it and then feed that in.” Njegov komentar odražava osjećaj dijela zajednice da bi vizualni pristup mogao postati novi standard u obradi jezika.
Ključne komponente • DeepEncoder – vizualni enkoder od 380 milijuna parametara koji spaja lokalnu percepciju iz Meta-ina SAM-a i globalno razumijevanje iz OpenAI-jevog CLIP-a te dodatno koristi modul za 16-struku kompresiju. • Mixture-of-experts dekoder – jezični model od 3 milijarde parametara (570 milijuna aktivnih) koji prevodi vizualne tokene natrag u tekst.
U testiranju na skupu Fox, model je s tek 100 vizualnih tokena dosegnuo 97,3 % točnosti na dokumentima sa 700–800 tekstualnih tokena, što predstavlja kompresijski omjer 7,5 : 1. Čak i pri omjerima blizu 20 : 1 preciznost je ostala oko 60 %.
Prijenos u praksi DeepSeek tvrdi da jedno Nvidia A100-40G grafičko procesorsko sučelje može obraditi više od 200 000 stranica dnevno. Skupina od 20 poslužitelja, svaki s osam takvih GPU-ova, prema projekciji doseže 33 milijuna stranica dnevno – dovoljno za brzo slaganje golemih skupova podataka za treniranje drugih AI sustava.
Podloga za uspjeh nalazi se i u opsežnoj obuci: 30 milijuna PDF-ova na oko 100 jezika, od čega 25 milijuna na kineskom i engleskom, te devet vrsta dokumenata – od znanstvenih radova do rukom pisanih bilješki.
Za razliku od mnogih komercijalnih laboratorija, DeepSeek je sve – od težina do skripti za inferenciju – postavio na GitHub i Hugging Face, gdje je repozitorij u samo 24 sata prikupio više od 4 000 zvjezdica.
Otvorena objava potiče pitanje skrivaju li drugi laboratoriji slične tehnologije, ali i nudi istraživačima širom svijeta alat koji bi mogao proširiti granice konteksta velikih jezičnih modela brže nego što se do jučer smatralo mogućim.