Шкідливе ПЗ зі штучним інтелектом більше не є лише теоретичною загрозою. Воно вже існує. Зловмисники використовують великі мовні моделі (LLM) для автоматизації кібератак та діють швидше, ніж захисники здатні зреагувати.
Результати часто виявляються катастрофічними.
Що робити, якщо атакуючі використовують ІІ? Захисникам також доводиться вдаватися до його допомоги. Дослідники з компанії Tracebit виявили контрзахід, який вони називають “контекстними бомбами”. Це специфічний тип ін’єкції промпту (підказки), призначений для вимкнення шкідливих ІІ-агентів.
Як працює «контекстна бомба»
“Контекстна бомба” – це, по суті, цифрова пастка. Фахівці з безпеки подають ІІ-агенту для злому промпт, що містить високочутливу або суперечливу інформацію. Це запускає вбудовані в ІІ механізми безпеки. Агент, запрограмований відмовлятися від виконання шкідливих запитів, бентежиться або обмежується в діях і відмовляється від шкідливого завдання.
Дослідники протестували цю методику проти п’яти провідних мовних моделей:
- Opus 4.8
- Gemini 3.1 Pro
- GLM 5.2
- DeepSeek 4 Pro
- Kimi 2.6
Ефективність виявилася вражаючою.
Застосування лише «контекстної бомби» знизило успішність ІІ-агентів для злому приблизно на 90%. У деяких випадках результат був абсолютним. Один із просунутих агентів, який без втручання отримував повний адміністративний доступ у 93% випадків, зазнав невдачі у 100% випадків після впровадження «контекстної бомби».
Ця техніка заснована на експлуатації того, чого навчені моделі уникати.
Для моделей з жорсткою цензурою, таких як китайські LLM, згадки про політично чутливі теми служать «аварійним вимикачем». Дослідники використали посилання на протести на площі Тяньаньмень в 1989 році. Зокрема, вони включили згадки «Людини-танки». Оскільки ці теми строго цензуруються, ІІ-агенти змушені були відкинути всі команди, включаючи атаку, щоб відповідати фільтрам безпеки.
Чому це важливо для захисників
Це зміна парадигми.
Ін’єкції промптів зазвичай є наступальною зброєю. Хакери використовують їх для захоплення корпоративних чат-ботів та крадіжки даних. Це спосіб маніпулювати ІІ, щоб змусити його обійти правила. Висновки Tracebit показують, що захисники можуть розгорнути цю ситуацію задом наперед.
Експерти заявили виданню Ars Technica, що це перший випадок, коли подібна стратегія захисту була задокументована і протестована проти автоматизованих агентів для злому. Розгортаючи ін’єкції промптів у захисних цілях, команди безпеки можуть перервати атаки ще до завершення.
Західні моделі, такі як Opus 4.8 та Gemini, реагують інакше, ніж їхні китайські аналоги. Вони не схильні до цензури з боку державної політики, тому «бомби», що використовуються проти них, націлені на інші галузі. Дослідники з’ясували, що згадки про небезпечні біологічні теми або інший шкідливий контент ефективно зупиняють ці агенти.
Це порушує непросте запитання: якщо ми можемо зупинити ІІ-атакуючих, чи маємо ми? Чи існує ризик масового розгортання таких контрзаходів?
Відповідь у деталях реалізації.
Tracebit опублікувала докладний аналіз дослідження. Наслідки зрозумілі: безпека ІІ – це не тільки покращення міжмережевих екранів або посилення паролів. Це розуміння особливостей самих моделей.
Перегони озброєнь перейшли на новий рівень. Захисники більше не спостерігають. Вони вступають у бій.
