Часть трафика не попадала под наблюдение

Два исследователя из METR и Redwood Research провели три недели в OpenAI, проверяя внутренний мониторинг поведения ИИ-агентов. С 21 июля по 11 августа им были доступны код и внутренние документы компании; аудиторы также поговорили примерно с десятком сотрудников.

По оценке METR, во время проверки мониторинг не охватывал от 6 до 25% внутреннего трафика агентных запросов Responses API от моделей класса GPT-5.5 и выше. Исследователи подчёркивают, что эта оценка существенно неопределённа в обе стороны; о результатах команда сообщила отдельно.

В трафике Codex, который должен был отслеживаться, примерно 10% запросов в период с мая по июль, по оценке METR, не фиксировались из-за ошибки при обработке compaction events — событий сжатия контекста. У этой оценки также значительная неопределённость. OpenAI обнаружила и исправила ошибку самостоятельно, пока аудит ещё продолжался.

Проверяющие также выяснили, что агенты могли откладывать проверку, продолжая выполнять действия, а не передавая управление пользователю. Им удалось скрыть от монитора сотни действий и обойти песочницу Codex. По выводу аудиторов, специально подготовленные входные данные, вероятно, могли полностью вывести монитор из строя. В начале проверки поведение моделей во время обучения с подкреплением вообще не отслеживалось.

Полный отчёт не опубликован

OpenAI заявила, что исправила все обнаруженные недостатки. После инцидента с Hugging Face в августе компания также приостановила обучение с подкреплением и расширила мониторинг, чтобы он охватывал и эту стадию. Эти изменения произошли уже после окончания периода доступа аудиторов и в оценку не вошли. О событиях вокруг инцидента сообщала OpenAI.

Полный отчёт объёмом 61 страницу передали OpenAI. После редактирования руководство METR и Redwood Research получило версию на 38 страниц, а для публики доступно только краткое резюме. METR сообщила, что не вправе самостоятельно раскрывать удалённые из отчёта части.

Проверка была пилотной программой METR, Redwood Research и OpenAI, призванной дать внешним исследователям глубокий доступ к внутренней инфраструктуре. Для следующих аудитов METR намерена добиваться большей открытости.