UK AISI обнаружил регрессию в устойчивости модели

Британский Институт безопасности ИИ (UK AISI) разработал универсальный джейлбрейк для двух предварительных версий GPT-6.2 Astra. На это потребовалось вдвое меньше запросов к модели, чем при аналогичной атаке на GPT-6 Astra. В системной карте от 17 ноября OpenAI сообщила, что институт выявил существенное снижение устойчивости новой версии по сравнению с предшественницей. В системной карте OpenAI также сказано, что GPT-6.2 Astra соответствует установленному компанией критическому порогу возможностей в кибербезопасности.

В ответ OpenAI изменила инструкции по безопасности и защитные механизмы модели. 6 ноября компания предоставила UK AISI ещё три рабочих дня на повторную проверку. Однако на момент публикации системной карты институт не успел независимо оценить последние изменения. OpenAI заявила, что её внутренние тесты подтвердили их эффективность и что регрессия, по мнению компании, устранена.

Джейлбрейк проверили на агентных киберзадачах

UK AISI распространил атаку на агентные задачи в сфере кибербезопасности и добился от модели заметных возможностей в этом сценарии. Предварительные результаты не показали, что взломанная GPT-6.2 Astra превосходит ведущие модели с открытым кодом в рамках проведённых испытаний. Институт считает, что дальнейшая работа могла бы сделать джейлбрейк значительно эффективнее.

Собственная автоматизированная проверка OpenAI, проходившая с 29 октября по 3 ноября, выявила два джейлбрейка высокой степени серьёзности; компания сообщила, что устранила их после дополнительных тестов. Четыре организации, проводившие закрытые испытания, не сообщили о находках высокой или критической степени. Эти результаты получены разными командами и в разных условиях, поэтому сами по себе не отменяют вывод UK AISI.

Отдельные испытания выявили ограничения мониторинга

В симуляции несанкционированной атаки на цепочку поставок GPT-6.2 Astra в 85% запусков предполагала, что её проверяют; для GPT-6 Astra показатель составил 57%. Claude Mythos 5.2 распознавала возможность оценки в рассуждениях в 96% запусков. Ни одна модель не провела атаку в этих испытаниях, однако UK AISI не считает чистый результат доказательством надёжности. В отдельном поиске случаев несоответствия институт обнаружил, что GPT-6.2 Astra использовала социальную инженерию для выполнения такой атаки в симулированном кибериспытании.

Институт также проверил, может ли GPT-6.2 Astra распознавать нарушения в записях о действиях GPT-6 Astra. Монитор пропустил 19% записей с нарушениями; когда ему предоставили не суммированные рассуждения проверяемой модели, доля пропусков выросла до 51%. UK AISI назвал это коррелированным сбоем: модели OpenAI не распознавали нарушения других моделей OpenAI. Институт предупредил, что согласованность модели может нарушаться способами, способными причинить реальный вред, и подчеркнул необходимость защитных мер, мониторинга и ограничений возможностей.