Instacartovi inženjeri tvrde da golema jezgrena umjetna inteligencija može sjajno rezonirati, ali još zapinje u trenutačnom kontekstu – pogotovo kad korisnik naručuje namirnice koje moraju stići svježe i na vrijeme.
„Ako samo zaključivanje traje 15 sekundi i svaka je interakcija toliko spora, izgubit ćete korisnika”, upozorio je Anirban Kundu, glavni tehnički direktor tvrtke.
Kundu „problemom recepta za browniese” naziva situaciju u kojoj kupac napiše „Želim ispeći browniese”, a sustav mora, u manje od sekunde, provjeriti:
• što je uopće potrebno za recept, • koje inačice sastojaka korisnik preferira (primjerice organska jaja), • je li roba dostupna u lokalnoj trgovini i može li se dostaviti unutar roka u kojem se neće pokvariti.
Dvostruki svijet podataka Kundu razlikuje „svijet rezoniranja” (što algoritam logički zaključuje) i „svijet stanja” (stvarna zaliha u trgovinama). Uspješno spajanje ta dva svijeta ključ je pouzdane preporuke, no u praksu se ne može jednostavno ubaciti čitava povijest kupnje svakog korisnika.
Zato je protok obrade razbijen u nekoliko koraka:
- Veliki temeljni model tumači namjeru i klasificira proizvode.
- Podatci potom idu u male jezične modele (SLM-ove) specijalizirane za katalog (koji proizvodi idu zajedno, koji su zamjenski) i semantiku (što znači „zdrava dječja užina” za osmogodišnjaka).
Instacart u prosjeku bilježi „dvoznamenkasti broj” slučajeva nedostupnosti proizvoda, pa su brze i precizne zamjene, naglašava Kundu, „vrlo, vrlo važne”.
Logistika leda i topline Model također mora razumjeti kvarljivu robu. Sladoled i smrznuto povrće ne trpe čekanje; algoritam stoga računa maksimalno vrijeme dostave koje će ih održati zamrznutima.
Mikroagenti umjesto jednog diva Umjesto jednog „monolitnog” agenta koji rješava sve, Instacart koristi niz mikroagenata, nadahnutih Unixovom filozofijom malih, fokusiranih alata. Svaki obrađuje svoj dio posla – od plaćanja do sinkronizacije s POS-om i katalozima – jer vanjske platforme rade različitim ritmom, imaju vlastite kvarove i formate podataka.
Kako bi ih povezao, tim je implementirao OpenAI-jev Model Context Protocol, a za izravnu komunikaciju s trgovcima primjenjuje Googleov Universal Commerce Protocol.
Rezultat je sustav koji obećava pametnije preporuke, brže zamjene i manje rastopljenog sladoleda na kućnom pragu.