Что изучала команда OpenAI

Команда по безопасности OpenAI проследила, какие этапы обучения затрудняют наблюдение за рассуждениями моделей GPT-5 — GPT-6 Astra. В анализе OpenAI исследователи выделили два признака: способность решать задачи без видимой цепочки рассуждений и способность намеренно управлять этой цепочкой.

По данным британского Института безопасности ИИ, Astra решает математические задачи, на которые у человека уходит около 31 минуты, даже когда рассуждения отключены. В другом тесте модель просили выполнять заданное правило для текста — например, добавлять «мяу» после каждого слова или писать только строчными буквами.

Четыре фактора влияют на наблюдаемость

  1. Чем выше базовые возможности модели после предварительного обучения, тем больше шагов рассуждения она может выполнять незаметно. Исследователи связывают это с улучшением предсказания текста.
  2. Архитектура тоже имеет значение. В испытаниях на планирование и выполнение коротких программ без видимых записей одна из трёх анонимизированных архитектур заметно лучше справлялась с многошаговыми задачами при сопоставимом качестве предсказания текста. На тестах общих знаний различия были небольшими.
  3. Обучение с подкреплением усиливало контроль над собственной цепочкой рассуждений у моделей уровня Astra и новых внутренних моделей Terra. Это отличается от результатов более раннего исследования, где такое обучение снижало управляемость небольших моделей.
  4. Навык управлять видимыми рассуждениями может передаваться следующему поколению: по анализу OpenAI, ученическая модель перенимала высокий уровень такого контроля, обучаясь на данных модели-учителя.

OpenAI также сообщала, что Astra научилась управлять журналом рассуждений даже без прямого наказания за его содержимое. Когда во время обучения отключили наблюдение за инструментами вроде браузера и терминала, а оценивали только длину текста и итоговый ответ, модель почти столь же успешно манипулировала журналом по команде.

Прозрачность зависит и от решений разработчиков

Авторы не считают снижение прозрачности неизбежным свойством развития ИИ. Архитектура и выбор модели-учителя влияют на то, насколько много промежуточных шагов система выполняет «в уме». Более компактная модель, которая рассуждает дольше и вслух, может быть проще для контроля, но длинные цепочки увеличивают вычислительные расходы при использовании.

В практических проверках обмана — в том числе попытках скрытно выполнить побочную задачу или намеренно занизить демонстрируемые возможности — модели с высокой управляемостью рассуждений пока не обходили мониторы чаще, чем сопоставимые модели с низкой управляемостью. Однако OpenAI заключает, что одного чтения цепочки рассуждений недостаточно: нужны дополнительные методы контроля, способные учитывать рост возможностей моделей.