IBM-ova nova obitelj malih jezičnih modela Granite 4.0 Nano donosi četiri otvorena modela veličine od 350 milijuna do 1,5 milijardi parametara, namijenjenih izvođenju izravno na prijenosnicima, rubnim uređajima ili čak u internetskom pregledniku.
• Modeli i arhitektura
- Granite-4.0-H-1B i H-350M koriste hibridnu state-space arhitekturu koja spaja preciznost transformera s memorijskom učinkovitošću Mamba-2 slojeva.
- Granite-4.0-1B (oko 2 B parametara) i Granite-4.0-350M ostaju čisto transformerski, osiguravajući potpunu kompatibilnost s alatima poput llama.cpp.
• Hardverski pragovi
Model od 350 M radi na procesoru prijenosnika s 8–16 GB RAM-a, dok varijanta od 1,5 B traži grafičku karticu s 6–8 GB VRAM-a ili dovoljno radne memorije i SWAP-a pri izvođenju na CPU-u.
• Rezultati testiranja
IBM navodi da Granite-4.0-H-1B na IFEval-u postiže 78,5 bodova, nadmašujući konkurente poput Qwen3-1.7B (73,1). Transformer varijanta od 1 B vodi na BFCLv3 ljestvici alata/funkcijskog pozivanja s 54,8 bodova, dok svi Nano modeli prelaze 90 % na sigurnosnim testovima SALAD i AttaQ. Prosječni rezultat od 68,3 % preko područja znanja, matematike, koda i sigurnosti svrstava ih u sam vrh svoje klase.
• Otvorenost i licenciranje
Svi modeli izlaze pod licencom Apache 2.0, potpisani su kriptografski i certificirani prema ISO 42001, standardu koji je IBM pomogao razviti. To znači da su slobodni za istraživačku, poslovnu i komercijalnu uporabu bez naknada i uz potpunu reviziju izvornog koda.
• Zašto „malo” nije „manje”
Umjesto utrke u parametarskim milijardama, IBM se fokusira na:
- Fleksibilno postavljanje – od mobitela do mikroposlužitelja.
- Privatnost – podaci ostaju lokalno, bez poziva u oblak.
- Otvorenost – javno dostupne težine i kod.
• Dijalog s otvorenom zajednicom
Predstavnici Granite tima uključili su se u raspravu na Redditu r/LocalLLaMA, potvrdivši da je u treningu veći Granite 4.0, da stižu varijante fokusirane na zaključivanje te recepti za fino podešavanje i znanstveni rad s detaljima treniranja.
• Šira slika
Granite 4.0 Nano nadograđuje liniju koju je IBM pokrenuo krajem 2023. i time se izravno suprotstavlja malim modelima poput Qwen3, Gemme i Mistrala. Uz kombinaciju konkurentnih rezultata, otvorene licence i niskih hardverskih zahtjeva, Nano modeli predstavljaju IBM-ov odgovor na potražnju za laganim, pouzdanim i transparentnim umjetno-inteligentnim rješenjima koja se mogu pokrenuti bilo gdje, bez oslanjanja na skupe GPU klastere.
Zaključak: Granite 4.0 Nano pokazuje da za snažan AI nije nužno imati 70 milijardi parametara – dovoljan je pametno dizajniran model koji stane u džep prijenosnog računala.