Generativna umjetna inteligencija (gen AI) ušla je u korporativne sustave brže nego što su sigurnosni timovi uspjeli prilagoditi obranu, poruka je s Forresterova Summita o sigurnosti i rizicima 2025. Stručnjaci su taj fenomen opisali kao „vršnog grabežljivca” koji tiho, uporno i u masovnom opsegu skenira slabosti modernih mreža.
Ključne preporuke stručnjaka:
-
AI agenti kao nova klasa identiteta
Forresterov potpredsjednik i glavni analitičar Andras Cser naglasio je da se AI agenti nalaze „između strojeva i ljudskih identiteta – visokog su volumena, autonomije i utjecaja”. Klasični sustavi za upravljanje identitetima (IAM) ne mogu ih nadzirati pa su potrebne specijalizirane platforme s mogućnošću dinamičkog odobravanja i stalnog praćenja. -
Razvijati AI crvene timove
Sudionici su upozorili da su tradicionalni pentestovi zastarjeli jer ne prepoznaju slabosti specifične za modele umjetne inteligencije – od prompt-injekcija do inverzije modela. Proaktivni „crveni timovi” moraju simulirati napade na modele kako bi otkrili pristranosti i kaskadne kvarove autonomnih agenata. -
Polaziti od pretpostavke da će AI zakazati
Ključno izlaganje upućeno je na provjerene stope neuspjeha modela gen AI od oko 60 %. „AI nam isporučuje nove lažne pozitivne rezultate, osobito tijekom istraga i odgovora na incidente”, čulo se u dvorani, uz poziv da se svaki sustav promatra kroz prizmu redovitog kvara. -
Sigurnosne kontrole na brzini stroja
Dinamičke, „just-in-time” ovlasti danas izbacuju koncept trajnih privilegija. Kontrole osmišljene za ljudski tempo više nisu dovoljne; obrana mora pratiti brzinu automatiziranih odluka koje AI donosi u realnom vremenu. -
Nulta tolerancija na slijepo povjerenje
Nedavna javna mjerila rada AI agenata pokazala su stopu katastrofalnih pogrešaka od 70–90 %. „Zaštitne ograde ne čine agente sigurnima, nego ih čine tihim kad pogriješe”, glasilo je jedno od upozorenja. Zaključak: svaka automatizacija mora se kontinuirano provjeravati, a zastarjeli sustavi koji počivaju na pretpostavljenom povjerenju predstavljaju otvorena vrata za napadače.
Skup je tako iznio jasnu poruku: generativna AI donosi golemu produktivnost, ali i rizik razmjera kakav korporativna sigurnost dosad nije vidjela. Preglednost identiteta, ofenzivno testiranje modela i odbacivanje naslijeđenih pretpostavki o povjerenju ključni su koraci za preživljavanje u okruženju gdje algoritmi love – i griješe – brzinom stroja.