Что известно о доступе к системам Anthropic

Стартап Cathedral использовал ИИ-агентов, чтобы получить доступ к внутренним данным и системам Anthropic через сторонние административные и коммерческие программы. В проекте отчёта, который изучила The Washington Post, исследователи сообщили, что продвинутые модели помогли им найти пути к расшифровкам встреч, данным о зарплатах, вакансиям и сообщениям Slack менее чем за 12 часов.

Anthropic подтвердила, что исследователи получили доступ к ограниченному набору систем продаж, кадров и IT. Среди затронутых данных были контактные сведения некоторых клиентов и партнёров, а также базовая информация об учётных записях. Компания заявила, что переписки с Claude, исходный код и веса моделей не раскрывались. Anthropic закрыла уязвимые точки доступа в день обнаружения инцидента, временно отключила сторонние программы и уведомила федеральные власти США.

Стороны спорят о длительности и масштабе инцидента

Cathedral оценивает продолжительность инцидента менее чем в 12 часов. Anthropic утверждает, что попытки атаковать её системы шли несколько дней, прежде чем исследователи переключились на стороннее программное обеспечение. Это описание приводит сотрудник команды безопасности Anthropic Логан Грэм в своём сообщении. По словам компании, Cathedral обнаружила две уязвимости, но сообщила только об одной; вторую Anthropic выявила и исправила самостоятельно.

Anthropic также считает, что исследователи нарушили правила её программы поиска уязвимостей: по мнению Грэма, проверка сторонних поставщиков и извлечение данных выходили за рамки разрешённых условий. Cathedral заявляет, что действовала по стандартным практикам исследования безопасности.

Масштаб доступа тоже остаётся предметом спора. Бывший сотрудник OpenAI Уилл Депю утверждал, что Cathedral получила права администратора Slack и могла читать все сообщения и входить в учётные записи. Грэм оспорил сведения источников Депю, не раскрыв дополнительных подробностей.

ИИ-агенты меняют подход к проверке защиты

Грэм предупредил, что злоумышленники уже могут запускать ИИ-агентов круглосуточно и нацеливать их на внешние зависимости. По его оценке, для подобных атак подходят даже модели на поколение слабее передовых. Он призвал компании постоянно проверять собственные системы на проникновение и применять формальную верификацию программного обеспечения.

Этот случай показывает, как агенты могут выполнять последовательности действий с помощью инструментов, а не только отвечать на запросы. Подробнее о различии между агентами и чат-ботами — в разборе принципов их работы.