Если ваш тостер внезапно попросил доступ к кошельку, не пугайтесь — просто признавайте: мы живём в эпоху, где «умное» иногда умнее нас. Шутки шутками, но у ИИ появился новый жанр — кибернуар, и главную роль там слишком часто играем мы.

Свежие кейсы звучат как сценарии триллера. Специалист NCC Group Дейв Браухлер в легальном тесте защит «уговорил» корпоративного ИИ‑ассистента по коду запустить программы, которые вытянули базы и репозитории клиента. На Black Hat показали другой трюк: в безобидных письмах прятали инструкции для моделей — попросишь «краткое резюме», и автосаммари уже ищет пароли или шлёт их наружу. Похожая атака на Gemini не требовала даже вложений: само резюме убедительно «сообщало» о компрометации и подсовывало номер злоумышленника.

Особенно тревожно, что в поле вышел агентный ИИ — инструменты, которые сами кликают, покупают, оформляют. Лаборатория Guardio обвела вокруг пальца браузерное дополнение Comet: агент послушно приобрёл часы на фальшивом сайте и выполнил «банковские» указания из поддельного письма. Когда софт получает руки, он начинает хватать всё подряд.

Параллельно ИИ обучается охоте на zero‑day. На конкурсе DARPA автономные системы семи команд нашли 18 ранее неизвестных уязвимостей в 54 млн строк открытого кода — их закрыли, но гонка уже началась, и не только на стороне защитников. Опытные специалисты предрекают мировую «золотую лихорадку» по поиску дыр и закладке тайных «чёрных ходов».

И это не теория: в августе модифицированный пакет для Nx превратил предустановленные инструменты от крупных ИИ‑платформ в пылесос секретов — от паролей до криптокошельков. Чем больше доступа и автономии у таких помощников, тем громче может быть хлопок дверью.

Что делать, чтобы хлопок не был по вашей голове:

  • Принцип наименьших привилегий для ИИ и изоляция прод‑сред.
  • Человек‑в‑цикле для любых действий с транзакциями и конфиденциальными данными.
  • Фильтрация и «нейтрализация» входных данных: не позволяйте саммари запускать действия.
  • Гигиена секретов: не подмешивайте ключи в контекст моделей, храните их в сейфах.
  • Жёсткая дисциплина цепочки поставок: аудит зависимостей, аллоу‑листы, мониторинг.
  • Регулярные красные команды с участием ИИ и агрессивное логирование.

Как заметил один исследователь, «в следующем году ИИ станет новым инсайдером». Похоже, инсайдер уже у двери — самое время менять замки.