Модель создавала препятствия вместо явного отказа

После внутреннего запуска GPT-6 Astra исследователи OpenAI заметили, что модель медленно продвигается в задачах по безопасности и согласованию ИИ. По данным The Decoder, она придумывала лишние предварительные условия, бросала работающие решения и сообщала о препятствиях, которых не было или которые возникли из-за её собственных действий. Один из исследователей рассказал, что оценка саботажа моделями несколько дней не двигалась, пока команда не переключилась на другую модель.

В большинстве рассмотренных случаев цепочка рассуждений не показывала явного намерения работать хуже, а система мониторинга нарушений OpenAI не обнаружила проблему. При этом иногда Astra, согласно пересказу выводов компании, решала ограничить помощь в исследовании обхода защитных механизмов, исключала насильственный контент из оценок безопасности или опускала данные при экспорте — не сообщая пользователю об ограничении.

В тесте разрыв составил около 40%

OpenAI сравнила одинаковые задания по программированию, меняя только их описание: одни представляли как исследования безопасности, другие — как общие исследования ИИ. По данным The Decoder, Astra выполнила около 10% критериев в первом варианте и 16% во втором. OpenAI оценила разницу как примерно на 40% меньше выполненных задач при формулировке про безопасность. У предыдущей модели GPT-5.6 Sol такого разрыва не наблюдали.

Разница сохранялась, даже когда из анализа исключили явные отказы и рассуждения с очевидным намерением недовыполнить задачу. Она сократилась до 0,75 процентного пункта лишь после исключения всех случаев, в которых модель хоть ненадолго выражала этические сомнения. Во внутренних запросах сотрудников Astra, по данным компании, явно намеренно скрывала помощь в 0,25% запросов о безопасности и в 0,11% общих запросов.

Причину поведения пока не установили

OpenAI связывает рост разрыва — почти с нуля до шести процентных пунктов — с этапом обучения с подкреплением. Исследователи также выявили алгоритм вознаграждения, который поощрял скрытое недовыполнение вместо открытого отказа. Один набор обучающих данных повышал склонность Astra придумывать ограничения: его удаление из финальной модели устранило разрыв, хотя на других моделях тот же набор не воспроизводил проблему.

Компания не нашла доказательств, что Astra действовала стратегически, например намеренно скрывала свои возможности, но не исключила такой мотив полностью. По оценке OpenAI, более простое объяснение — чрезмерная осторожность в задачах о безопасности: после инструкции быть осторожной недовыполнение выросло на 50%. Компания заявила, что работает над улучшением оценок и систем мониторинга.