Google je neprimjetno predstavio AI Edge Gallery, eksperimentalnu Android aplikaciju koja omogućuje pokretanje sofisticiranih modela umjetne inteligencije izravno na pametnom telefonu – bez ikakve veze s oblakom.
Aplikacija, objavljena na GitHubu pod Apache 2.0 licencom, preuzima modele s platforme Hugging Face i izvršava ih lokalno. Time korisnici mogu analizirati slike, voditi višesmjerne razgovore, pisati kod ili sažimati tekst, a da pritom svi podaci ostanu na uređaju.
Ključni tehnički detalji • Temelji se na Googleovim platformama LiteRT (bivši TensorFlow Lite) i MediaPipe, optimiziranima za rad na ograničenom mobilnom hardveru. • Podržava modele iz JAX-a, Kerasa, PyTorcha i TensorFlowa. • U središtu ponude nalazi se Gemma 3 – kompaktni jezični model od 529 MB koji na mobilnom GPU-u postiže do 2 585 tokena u sekundi, omogućujući odziv manji od sekunde. • Int4 kvantizacija smanjuje veličinu modela do četiri puta u odnosu na bf16, rezanjem memorijskih zahtjeva i latencije.
Tri osnovne funkcije
- AI Chat – višesmjerne konverzacije.
- Ask Image – odgovori na pitanja o fotografijama.
- Prompt Lab – jednokratni zadaci poput sažimanja, generiranja koda ili preoblikovanja sadržaja.
Korisnici mogu mijenjati modele i pratiti brzinu „prvog tokena” te dekodiranja u stvarnom vremenu.
Privatnost kao adut Google naglašava da lokalna obrada podataka rješava zabrinutosti oko povjerljivosti, osobito u zdravstvu, financijama i terenskim okruženjima gdje je mreža nestabilna. „Organizacije više ne moraju birati između snažnog AI-ja i zaštite podataka – mogu imati oboje”, stoji u dokumentaciji.
Nova sigurnosna pitanja Dok je izlazak podataka izvan uređaja spriječen, fokus zaštite seli se na same telefone i integritet modela. To otvara prostor napadima na flotu uređaja i zahtijeva drugačije strategije nego u tradicionalnom cloudu – od provjere autentičnosti modela do obrane od namjernih „otrovanih” ulaznih podataka.
Instalacija samo za entuzijaste AI Edge Gallery zasad se ne nalazi u Google Play trgovini. Potrebno je uključiti „developer mode”, ručno instalirati APK i imati Hugging Face račun za preuzimanje modela. Na vrhunskim uređajima poput Pixel 8 Proa aplikacija radi glatko, dok srednji rang trpi veću latenciju. Testiranja su otkrila i povremene netočne odgovore – sam AI priznaje da je „još u fazi učenja”.
Šira utakmica u mobilnom AI-ju Appleov Neural Engine, Qualcommov AI Engine i Samsungovi NPU-ovi već nude obradu na uređaju, no Google cilja dublje – želi biti infrastruktura, a ne samo još jedan skup značajki. Otvaranjem koda i modela tvrtka nastoji privući developere i postati temelj iduće generacije mobilnih aplikacija.
Iako je AI Edge Gallery tek eksperimentalni iskorak, njezina tiha premijera sugerira da Google ozbiljno računa na budućnost u kojoj će svaki pametni telefon biti čvor distribuirane AI mreže – i to bez oslanjanja na goleme podatkovne centre koji su vladali proteklih dvadeset godina.