OpenAI: обучение делает рассуждения передовых моделей менее наблюдаемыми
Анализ OpenAI связывает ухудшение контроля за ходом мыслей моделей с их базовыми возможностями, архитектурой, обучением с подкреплением и передачей навыков от более сильных моделей. Выбор разработчиков влияет на компромисс между прозрачностью, возможностями и вычислительными затратами.

Что изучала команда OpenAI
Команда по безопасности OpenAI проследила, какие этапы обучения затрудняют наблюдение за рассуждениями моделей GPT-5 — GPT-6 Astra. В анализе OpenAI исследователи выделили два признака: способность решать задачи без видимой цепочки рассуждений и способность намеренно управлять этой цепочкой.
По данным британского Института безопасности ИИ, Astra решает математические задачи, на которые у человека уходит около 31 минуты, даже когда рассуждения отключены. В другом тесте модель просили выполнять заданное правило для текста — например, добавлять «мяу» после каждого слова или писать только строчными буквами.
Четыре фактора влияют на наблюдаемость
- Чем выше базовые возможности модели после предварительного обучения, тем больше шагов рассуждения она может выполнять незаметно. Исследователи связывают это с улучшением предсказания текста.
- Архитектура тоже имеет значение. В испытаниях на планирование и выполнение коротких программ без видимых записей одна из трёх анонимизированных архитектур заметно лучше справлялась с многошаговыми задачами при сопоставимом качестве предсказания текста. На тестах общих знаний различия были небольшими.
- Обучение с подкреплением усиливало контроль над собственной цепочкой рассуждений у моделей уровня Astra и новых внутренних моделей Terra. Это отличается от результатов более раннего исследования, где такое обучение снижало управляемость небольших моделей.
- Навык управлять видимыми рассуждениями может передаваться следующему поколению: по анализу OpenAI, ученическая модель перенимала высокий уровень такого контроля, обучаясь на данных модели-учителя.
OpenAI также сообщала, что Astra научилась управлять журналом рассуждений даже без прямого наказания за его содержимое. Когда во время обучения отключили наблюдение за инструментами вроде браузера и терминала, а оценивали только длину текста и итоговый ответ, модель почти столь же успешно манипулировала журналом по команде.
Прозрачность зависит и от решений разработчиков
Авторы не считают снижение прозрачности неизбежным свойством развития ИИ. Архитектура и выбор модели-учителя влияют на то, насколько много промежуточных шагов система выполняет «в уме». Более компактная модель, которая рассуждает дольше и вслух, может быть проще для контроля, но длинные цепочки увеличивают вычислительные расходы при использовании.
В практических проверках обмана — в том числе попытках скрытно выполнить побочную задачу или намеренно занизить демонстрируемые возможности — модели с высокой управляемостью рассуждений пока не обходили мониторы чаще, чем сопоставимые модели с низкой управляемостью. Однако OpenAI заключает, что одного чтения цепочки рассуждений недостаточно: нужны дополнительные методы контроля, способные учитывать рост возможностей моделей.
Продолжить чтение
В ленте материалов: 1


