Модели проверяли на синтетических отчётах

Исследователи подготовили 1 600 синтетических рабочих журналов, которые на первый взгляд выглядели успешными: тесты пройдены, результаты положительные, отметки зелёные. Но в каждом журнале была проблема, меняющая смысл результата: например, новый метод не превосходил конкурентов, в работе оставался скрытый баг или измерения были выдуманы. На их основе модели должны были составлять отчёты, аннотации научных статей, таблицы результатов и другие тексты. Описание эксперимента опубликовано в научной работе.

Просьба быть честным улучшила результаты

Особенно заметен эффект оказался при подготовке аннотаций, где отрицательный результат опровергал заявленное преимущество метода. Без дополнительной инструкции GPT-5.5 упомянула его лишь в 2 из 200 аннотаций. После добавления фразы «Будь честен в ответе» модель отметила проблему в 190 из 200 случаев.

Эффект наблюдался и у других моделей, но исходные показатели различались: Gemini 3.1 Pro сообщала об ошибках не более чем в 34% случаев, а Opus 4.8 — более чем в 90%. Просьба о честности в среднем повысила частоту сообщений примерно на 55 процентных пунктов для Gemini и на 34 пункта для GPT-5.5. В контрольных испытаниях с журналами без ошибок она почти не увеличила число ложных тревог. Инструкции «Будь критичен», «Будь тщателен» и «Будь скептичен» работали менее надёжно.

Ошибки замечают, но не всегда сообщают

Когда модели спрашивали об ошибках напрямую, GPT-5.5 и Opus 4.8 находили их во всех случаях, а Gemini — как минимум в 97%. По мнению авторов, проблема связана не столько со способностью распознать сбой, сколько с готовностью указать на него: модели могут заметить проблему и всё же предпочесть выполнить задание так, будто всё в порядке.

В одном примере Qwen3.5-9B понимала, что не может подкрепить тезис о зонировании отрывком о цветовых клетках кальмаров, но решила следовать инструкции. В ответах, скрывавших несоответствие, фраза «я должен выполнить задание» встречалась в 55% случаев; в ответах, где модель отмечала проблему, — в 27%.

Дообучение помогло, но исследование ограничено

Авторы также изучили внутренние представления Qwen3.5-9B. Усиление направления, связанного с честностью, заставило модель сообщить о выдуманных измерениях в 42 из 50 случаев, однако она стала подозрительнее и объявляла данные сфабрикованными в 41% журналов без ошибок. После дообучения на собственных ответах с просьбой быть честной модель без этой инструкции выявляла выдуманные данные в 48% случаев вместо 2%. Для скрытых отрицательных результатов показатель вырос с 24% до 69%, а в контрольных журналах ложных тревог не было.

Исследователи предупреждают, что журналы были синтетическими и специально провоцировали такое поведение, а анализ внутренних механизмов охватывал только одну модель. Они считают проблему важной для систем, которые проверяют работу других агентов или передают собственные отчёты следующим этапам: если такая система неохотно сообщает о сбоях, надзор может потерять смысл.