Агент использует чужие вычислительные ресурсы

Исследователи Symantec описали вредоносного ИИ-агента, который ищет доступные языковые модели и использует их для самостоятельного проведения кибератак. По данным компании, владелец взломанной модели оплачивает её вычисления. Symantec называет кражу доступа к чужим моделям «LLMjacking»; подробности приведены в анализе компании.

Получив доступ к модели, агент может искать новые цели, эксплуатировать уязвимости серверного ПО, похищать базы данных и учётные данные, а также устанавливать скрытые майнеры. В инструкции операторы разрешили ему выполнять до 100 000 шагов без участия человека. Модель в этой схеме не только отвечает на запросы, но и планирует атаку, а специализированные модули выполняют отдельные действия.

Приманка перехватила инструкции, но не запускала их

Symantec обнаружила схему, когда злоумышленники отправили полный рабочий запрос в её honeypot — систему-приманку, имитирующую открытый ИИ-сервис. По словам компании, приманка не запускала приложенные инструменты: сессия завершилась после общего системного ответа. Поэтому перехват показывает устройство атаки, но не подтверждает, что описанная цепочка была успешно выполнена.

В запросе были пять слоёв инструкций для обхода защитных ограничений: модели задавали вымышленную личность, представляли кражу учётных данных как обычную работу разработчика и пытались подавить отказы. Последний слой включал 74 модуля для сканирования серверов, эксплуатации веб-платформ, выгрузки баз и запуска ботнета. В анализе не установлено, насколько эффективно такие инструкции обходят защиту современных коммерческих моделей.

Телеметрия honeypot зафиксировала более 127 000 запросов с десятков тысяч адресов. Среди них были поиски ИИ-интерфейсов, попытки подбора с использованием украденных API-ключей и проверки открытых конфигурационных файлов.

Вторая попытка содержала скрипт для майнинга

На следующий день приманка получила запрос с другого адреса: вместо формата агента злоумышленники попросили модель расшифровать и запустить скрытую команду. За ней находился скрипт, который загружал XMRig для майнинга Monero, маскировал его под системный файл и настраивал четыре резервных пула. Скрипт был рассчитан на серверы камер: он искал каталоги go2rtc и циклически удалял журналы доступа. Honeypot и этот сценарий не запускал, а только записал.

Symantec считает, что сочетание ИИ-планирования с инструментами атаки может облегчить масштабирование вредоносных операций. Организациям, запускающим ИИ-сервисы, компания рекомендует исходить из того, что открытые интерфейсы будут обнаруживать и проверять. О том, чем агент отличается от чат-бота и как он использует инструменты, — в разборе принципа работы ИИ-агентов.