Startup Liquid AI, nastao iz istraživačkog tima bivših znanstvenika s MIT-a, lansirao je LEAP (Liquid Edge AI Platform) – višestruku razvojnu knjižnicu (SDK) namijenjenu jednostavnom ugradjivanju malih jezičnih modela (SLM-ova) izravno u mobilne aplikacije.
LEAP dolazi u trenutku kada programeri sve češće traže alternativu uslugama u oblaku zbog kašnjenja, troškova, privatnosti i potrebe za radom izvan mreže. Platforma stavlja naglasak na lokalno izvođenje koda: modeli se pokreću na samom uređaju, bez slanja podataka na udaljene servere.
„Naše istraživanje pokazuje da se razvojni timovi udaljavaju od rješenja isključivo u oblaku i traže pouzdane partnere za izgradnju on-device rješenja. LEAP je naš odgovor – fleksibilna, cjelovita platforma koja čini moćni, učinkoviti i privatni edge AI dostupnim svima”, poručio je suosnivač i glavni izvršni direktor Ramin Hasani.
Ključne značajke LEAP-a:
- Brza integracija u iOS ili Android projekt uz nekoliko redaka koda.
- Ugrađena biblioteka modela od samo 300 MB, prikladna za telefone s 4 GB RAM-a i više.
- Automatska optimizacija memorije i prilagodba različitim čipovima (CPU, GPU, NPU).
- Podrška za vlastite Liquid Foundation Models (LFM) i popularne open-source SLM-ove.
- Katalog kvantizacija i kontrolnih točaka za prilagođavanje performansi konkretnom uređaju.
- Discord zajednica s podrškom, događajima i natjecanjima za developere.
Paralelno sa SDK-om objavljena je i besplatna iOS aplikacija Apollo. Aplikacija omogućuje lokalno testiranje LEAP-ovih modela, takozvani „vibe check” latencije, tona i ponašanja prije implementacije u produkciju. Apollo radi potpuno offline, čuvajući privatnost korisnika, a može poslužiti i kao osobni AI asistent.
LEAP se nadovezuje na ranije predstavljeni LFM2 – drugu generaciju Liquidovih temeljnih modela od 350 milijuna, 700 milijuna i 1,2 milijarde parametara, optimiziranih za brzu inferenciju na mobilnim procesorima. Ti modeli stoje u središtu LEAP-ove knjižnice i, prema internim mjerilima, pariraju većim sustavima u brzini i točnosti.
SDK i pripadajući modeli trenutačno su besplatni za developere, dok će napredne poslovne funkcije biti dostupne putem zasebne komercijalne licence. LFM2 ostaje besplatan za akademske projekte i tvrtke s prihodom manjim od 10 milijuna dolara; veće organizacije morat će sklopiti poseban ugovor s Liquid AI-jem.
Zainteresirani mogu preuzeti LEAP s službene stranice, instalirati Apollo iz App Storea ili se priključiti Discord zajednici kako bi započeli eksperimentirati s lokalnim AI-jem.