AI malware již není jen teoretickou hrozbou. Již existuje. Útočníci používají velké jazykové modely (LLM) k automatizaci kybernetických útoků a jednají rychleji, než mohou obránci reagovat.
Výsledky jsou často katastrofální.
Co dělat, když útočníci používají AI? K jeho pomoci se musí uchýlit i ochránci. Výzkumníci z Tracebitu identifikovali protiopatření, které nazývají “kontextové bomby”. Toto je specifický typ rychlé injekce navržený k deaktivaci škodlivých agentů AI.
Jak funguje kontextová bomba
„Kontextová bomba“ je v podstatě digitální past. Bezpečnostní specialisté poskytnou AI agentovi výzvu k hackování obsahující vysoce citlivé nebo protichůdné informace. To spustí bezpečnostní mechanismy zabudované do AI. Agent naprogramovaný tak, aby odmítal škodlivé požadavky, je zmatený nebo omezený a opouští škodlivý úkol.
Výzkumníci testovali tuto techniku proti pěti předním jazykovým modelům:
- Opus 4.8
- Gemini 3.1 Pro
- GLM 5.2
- DeepSeek 4 Pro
- Kimi 2.6
Účinnost byla úžasná.
Samotné použití kontextové bomby snížilo úspěšnost AI agentů v hackování přibližně o 90 %. V některých případech byl výsledek absolutní. Jeden z pokročilých agentů, který získal plný administrativní přístup 93 % času bez zásahu, selhal ve 100 % případů po nasazení kontextové bomby.
Tato technika je založena na využívání toho, čemu by se trénované modely měly vyhnout.
U vysoce cenzurovaných modelů, jako jsou čínské LLM, slouží zmínky o politicky citlivých tématech jako „zabíječ“. Vědci použili odkazy na protesty na náměstí Nebeského klidu v roce 1989. Konkrétně obsahovaly odkazy na Tank Mana. Protože jsou tato témata přísně cenzurována, byli agenti AI nuceni zahodit všechny příkazy, včetně útoku, aby vyhověli bezpečnostním filtrům.
Proč je to pro obránce důležité
To je změna paradigmatu.
Pohotové injekce jsou obvykle útočné zbraně. Hackeři je využívají k únosu firemních chatbotů a krádeži dat. Toto je způsob, jak vmanipulovat AI do ohýbání pravidel. Zjištění Tracebitu ukazují, že obránci mohou tuto situaci zvrátit.
Experti řekli Ars Technica, že je to poprvé, co byla taková obranná strategie zdokumentována a testována proti automatickým hackerským agentům. Nasazením rychlých injekcí pro obranné účely mohou bezpečnostní týmy zastavit útoky ještě před jejich dokončením.
Západní modely jako Opus 4.8 a Gemini reagují jinak než jejich čínské protějšky. Nepodléhají cenzuře ze strany vládní politiky, takže „bomby“ používané proti nim míří do jiných oblastí. Vědci zjistili, že zmínky o nebezpečných biologických tématech nebo jiném škodlivém obsahu jsou těmito látkami účinně zastaveny.
To vyvolává obtížnou otázku: pokud můžeme zastavit AI útočníky, měli bychom? Nebo existuje riziko hromadného nasazení takových protiopatření?
Odpověď spočívá v detailech implementace.
Tracebit zveřejnil podrobnou analýzu studie. Důsledky jsou jasné: zabezpečení umělé inteligence není jen o vylepšení firewallů nebo posílení hesel. Jde o pochopení vlastností samotných modelů.
Závody ve zbrojení se posunuly na novou úroveň. Obránci už se nejen dívají. Vstupují do bitvy.
