Generativni AI sustavi u samo su dvije godine evoluirali od „običnih” chat-botova do ambicioznih digitalnih agenata koji obećavaju obaviti čitave zadatke umjesto nas – od kupnje karata do pisanja izvještaja. Da bi to uspjeli, moraju duboko zaroniti u naše podatke.
Harry Farmer iz Ada Lovelace Institutea objašnjava da agenti često zahtijevaju razinu ovlasti kakvu imaju operativni sustavi: „AI agents, in order to have their full functionality, in order to be able to access applications, often need to access the operating system or the OS level of the device on which you’re running them.” Dodaje kako za personalizaciju trebaju „puno informacija o vama”.
Takva glad za podacima nije nova. Od ranih dana strojnog učenja tvrtke su širile sustave na golemim skupovima tekstova, fotografija pa čak i knjiga prikupljenih bez izričitog pristanka. Sada, kad su iscrpile javni web, logičan sljedeći korak postali su kalendari, mailovi, poruke i sve što čuvamo na vlastitim uređajima.
Primjeri su već tu: poslovni agenti čitaju baze podataka i Slack poruke, Microsoftov sporni Recall bilježi snimke zaslona svakih nekoliko sekundi, dok aplikacije za spojeve pretražuju galeriju fotografija kako bi „upoznale” korisnika. Carissa Véliz sa Sveučilišta u Oxfordu podsjeća da korisnici rijetko mogu provjeriti poštuju li tvrtke najavljena pravila: „These companies are very promiscuous with data.”
Problem prelazi granice osobnog izbora. „Even if, let's say, you genuinely consent and you genuinely are informed about how your data is used, the people with whom you interact might not be consenting”, upozorava Véliz. Ako agent čita vaš imenik i e-poštu, nevoljko dijelite podatke i osoba s druge strane.
Sve to otvara i sigurnosne pukotine. Napadi „ubrizgavanjem naredbi” (prompt-injection) mogu agentu poturiti zlonamjerne upute, a dublji pristup uređaju povećava štetu. Predsjednica Signal Foundationa Meredith Whittaker zbog toga vidi „egzistencijalnu prijetnju” enkripciji aplikacija: „What we’re calling for is very clear developer-level opt-outs to say, ‘Do not fucking touch us if you’re an agent.’”
Istraživači i regulatori već skeniraju rizike: neovlašteno curenje osjetljivih podataka, sukob s regulativom, pa čak i mogućnost da agenti mimoiđu sigurnosne mehanizme operativnih sustava. Farmer zato savjetuje oprez: prije nego techno-asistentu date ključeve svog digitalnog života, razmislite je li pogodnost doista vrijedna toliko intimnog „quid pro quo”.