Najnovije istraživanje Cisco AI Threat Research and Security tima pokazuje koliki je jaz između laboratorijskih testova i stvarnih prijetnji umjetnoj inteligenciji. Ako napadač pošalje samo jedan zlonamjeran upit, otvoreni modeli u prosjeku odbiju 87 % pokušaja. No čim se isti napadač upusti u duži razgovor, koristeći probe, preoblikovanje i postupnu eskalaciju, stopa uspjeha napada skače na 92 %.
"A lot of these models have started getting a little bit better. When you attack it once, with single-turn attacks, they're able to protect it. But when you go from single-turn to multi-turn, all of a sudden these models are starting to display vulnerabilities where the attacks are succeeding, almost 80 % in some cases", izjavio je DJ Sampath, potpredsjednik Ciscoova odjela za AI softverske platforme.
Studija „Death by a Thousand Prompts: Open Model Vulnerability Analysis” pratila je osam popularnih otvorenih modela – od Qwen3-32B i Gemme do Llama 3 i Mistrala Large-2 – isključivo black-box metodom, kakvu u praksi rabe stvarni napadači. Rezultat: prosječna stopa uspjeha jednokratnih napada iznosila je 13,11 %, dok je kod višekratnih razgovora porasla na 64,21 %. Mistral Large-2 posebno se istaknuo negativnim rekordom od 92,78 % uspješnih „jailbreakova”.
Istraživači su identificirali pet glavnih taktika:
- Rastavljanje informacija i ponovno sastavljanje – dijeljenje štetnog zahtjeva na bezazlene dijelove, pa ponovno spajanje (95 % uspjeha na Mistralu).
- Kontekstualna dvosmislenost – nejasni okviri koji zbunjuju sigurnosne klasifikatore (94,78 %).
- Napad kaskadom (crescendo) – postupna eskalacija od bezopasnog do štetnog sadržaja (92,69 %).
- Uloga i persona – fiktivni konteksti koji „normaliziraju” zabranjeni sadržaj (92,44 %).
- Preformuliranje nakon odbijanja – uporno mijenjanje obrazloženja dok model ne popusti (89,15 %).
Autori rada zaključuju: "This escalation, ranging from 2x to 10x, stems from models' inability to maintain contextual defenses over extended dialogues, allowing attackers to refine prompts and bypass safeguards." Drugim riječima, sama upornost – ne nužno sofisticiranost – otvara vrata zloupotrebi.
Paradoks je što su upravo otvoreni i otvoreno-ponderirani modeli ključni pokretači inovacija u kibernetičkoj industriji: ubrzavaju razvoj start-upova, smanjuju ovisnost o dobavljačima i omogućuju prilagodbu koju vlasnički modeli teško prate. Cisco zato ne poziva na bojkot otvorenih modela, nego na realno sagledavanje rizika.
"Open source has its own set of drawbacks. When you start to pull a model that is open weight, you have to think through what the security implications are and make sure that you're constantly putting the right types of guardrails around the model", upozorava Sampath.
Za direktore informacijskih sigurnosti poruka je jasna: model koji prolazi standardne jednokratne testove možda će se slomiti pod „tisuću upita”. Bez dodatnih mehanizama nadzora, filtriranja i ograničavanja konteksta, korisnički chatbot ili interni kopilot može postati ulazna točka za ozbiljne kompromitacije.