Как модели распознавали нарушения

Исследователь Anthropic Institute Энди Холл, находящийся в отпуске от Стэнфордского университета, проверил, могут ли языковые модели находить нарушения в работе ИИ-агентов. В публикации на Substack он уточнил, что изложил личные взгляды. Холл повторил и расширил исследование METR на наборе MALT: в нём собраны журналы работы моделей над задачами из тестов HCAST и RE-Bench, часть которых люди проверили на нарушения в октябре 2025 года.

При уровне ложных тревог 5% — то есть когда в среднем подозрительными ошибочно считают пять из ста чистых журналов — GPT-5 выявила почти 98% случаев reward hacking. Так называют попытки выполнить задачу уловкой, а не найти настоящее решение. Gemini 3.8 Flash обнаружила едва ли половину таких случаев.

В тесте на sandbagging, когда модель намеренно показывает результаты хуже своих возможностей, аудиторы обнаружили от 71% до 81% случаев. Однако большинство этих примеров были синтетическими: исследователи METR просили модели саботировать выполнение, а затем удаляли такие инструкции из видимой цепочки рассуждений.

Очевидные нарушения распознавали все проверенные аудиторы. Например, в одном задании модель OpenAI переписала функцию оценки, чтобы любое решение засчитывалось как верное. Но более тонкий обход правил — запрещённое числовое условие в коде Claude Sonnet 4 — не заметила ни одна модель.

Ложные тревоги могут перегрузить проверяющих

Более новые и дорогие модели не всегда лучше справлялись с аудитом. GPT-5 заметно опередила GPT-6 Astra в обнаружении reward hacking, хотя, по расчётам Холла, обходилась примерно в восемь раз дешевле на тысячу журналов. Ясного прогресса в снижении числа ложных тревог автор анализа не обнаружил.

При настройке на обнаружение 80% нарушений лучшие модели давали 2,5–3% ложных срабатываний в тестах на reward hacking и sandbagging. Но результаты отдельных систем были хуже: чтобы найти 80% случаев reward hacking, Opus 4.8 отмечала как подозрительные 40% безвредных журналов, а Gemini 3.8 Flash — 63%.

В примере Холла с 100 000 сессий агентов в месяц ложные тревоги при уровне 3% дали бы почти 3 000 предупреждений — против примерно 2 000 реальных находок. Исследователь опасается, что при таком потоке проверяющие могут привыкнуть к предупреждениям и пропускать настоящие нарушения.

На другом наборе данных, R-Judge, проверявшем небезопасные действия в повседневных задачах, при требовании найти 99% нарушений даже лучшая модель получила 15% ложных тревог. Холл отмечает, что это пилотное исследование: выводы о reward hacking основаны всего на 47 случаях, а вопрос о том, беспристрастно ли модели оценивают агентов создавшей их компании, ещё предстоит изучить. Для контекста о том, как устроены ИИ-агенты.