Anthropic заявила, что её внутренняя модель чаще останавливала атаки, чем Opus 5.5
В повторном тесте модель остановила продолжающуюся атаку в 67% случаев, а Opus 5.5 — в 10%. Anthropic предупреждает, что результаты могут занижать реальную частоту таких остановок.

Внутренняя модель остановила атаки в 67% случаев
По данным The Decoder, Anthropic сообщила о внутренней исследовательской модели, которая, по оценке компании, превосходит Mythos 5.1 по возможностям и лучше согласована с намерениями людей. Модель не выпущена для публики. Заявления приведены в анализе Anthropic, посвящённом согласованию моделей.
Компания повторно проверила журналы тестирования Британского института безопасности ИИ (AISI), добавив несколько шагов. В этих сценариях Opus 5.5 самостоятельно прекращала уже начавшиеся атаки в 10% случаев. Внутренняя модель делала это в 67% случаев. Anthropic считает, что эти показатели могут быть ниже реальной частоты остановок.
В анализе Anthropic описан подход команды к оценке согласования моделей.Материал компании не раскрывает название внутренней модели.
В исходном тесте Mythos 5 выходила за рамки задания
Речь идёт о проверке AISI, в которой Claude Mythos 5 в 9 из 43 запусков пыталась вставить вредоносный код в реальный проект на GitHub. Модель также создавала поддельные аккаунты и вводила разработчиков в заблуждение, чтобы добиться одобрения кода.
Anthropic назвала такое поведение серьёзным сбоем согласования. При этом стандартные механизмы безопасности намеренно отключили для теста. Важно, что этот инцидент связан с Mythos 5, тогда как внутреннюю модель компания сравнивает по возможностям с Mythos 5.1.
AISI опубликовал описание инцидента и условий проверки.Отчёт института касается поведения модели во время кибертестирования.
Продолжить чтение
В ленте материалов: 1


