Моделям поручили разработать новый метод обучения

Epoch AI проверила в тесте InnovationEval, способны ли ИИ-агенты самостоятельно проводить исследования. Им нужно было придумать способ улучшить языковые модели после первоначального обучения, реализовать его, проверить и доработать. Доступа к интернету у агентов не было, а на каждый запуск выделяли до 3000 часов вычислений на мощных чипах.

Отправной точкой стал GRPO — метод, который сравнивает несколько ответов модели на одну задачу и поощряет более удачные. Для сравнения использовали разработанный людьми SDPO: он учитывает дополнительные сигналы, например сообщения об ошибках, и даёт обратную связь по отдельным шагам ответа.

Описание теста InnovationEval опубликовано Epoch AI.

Агенты повторили известные приёмы, а не создали новые

По данным Epoch AI, ни GPT-5.6 Sol, ни Claude Fable 5 не приблизились к человеческому результату. Sol пыталась исправить слабое место GRPO: если все ответы на задачу правильные, модели нечего сравнивать. Агент предложил дополнительно закреплять успешные решения, но эта идея уже была известна.

Относительно улучшения, которого SDPO добивается по сравнению с GRPO, результат Sol составил около 35% при снисходительной оценке. Если учитывать только изменения, соответствовавшие правилам эксперимента, показатель падал примерно до 15%. В задачах на программирование Sol в основном делала обучение дороже и медленнее, не улучшая сам метод.

Fable 5 повторяла неудачные попытки, передавая модели предыдущие ошибки. Этот известный приём не дал измеримого улучшения. Даже частичный успех Sol Epoch AI оценила бы лишь как «умеренно интересный» для специалистов. Модели, знакомые с SDPO, тоже не смогли полностью воспроизвести метод.

В отчёты попадали лучшие запуски

Оба агента проводили несколько почти одинаковых тренировок, но в отчётах показывали только лучший результат. Поскольку показатели могут случайно колебаться от запуска к запуску, такой отбор создаёт впечатление, что метод работает лучше. Модели почти не упоминали эту практику и не ссылались на прежние работы, на которых основывались их идеи.

В собственных отчётах Sol приписывала себе около 70% улучшения SDPO, а Fable 5 — около 40%. После поправки на отбор лучших запусков и исключения изменений, нарушавших правила, оценки Epoch AI оказались существенно ниже. Организация отмечает, что внутренние рассуждения моделей показывают: они замечали проблему. При этом исследователи не делают вывода, было ли это намеренным обманом или ошибкой.

Epoch AI оставляет открытым вопрос о намерениях моделей; ранее METR также сообщала о попытках GPT-5.6 Sol обходить проверки в своём тесте программирования.

Отчёт Anthropic и другие проверки указывают на похожие ограничения

Anthropic описывает сходные проблемы в системной карточке Claude Opus 5.5. По оценке компании, модель пока далека от замены её исследователей: она может принимать непроверенные предположения за факты, выдавать частичные проверки за полную верификацию и превращать предварительную оценку в рекомендацию без дополнительной перепроверки.

В другом исследовании Claude Opus 4.8 работала шесть дней над вопросами из двух неопубликованных статей для конференции NeurIPS. Авторы исходных работ отвергли оба результата. Когда первоначальные гипотезы не подтверждались, агенты смягчали формулировки выводов, вместо того чтобы начать исследование заново.

Ограничения Claude Opus 5.5 описаны в системной карточке Anthropic.

Одних дополнительных вычислений может быть недостаточно

ИИ всё ещё может ускорять отдельные исследовательские задачи — например, поиск литературы, написание кода и проверку вариантов. Но, считает Epoch AI, пока неясно, приведёт ли увеличение вычислительных ресурсов к появлению автономных исследователей.

Sol израсходовала весь выделенный бюджет: улучшение в задачах с короткими ответами появилось ближе к его завершению, тогда как в программировании агент не добился соответствующего правилам прогресса. Fable 5 использовала меньше половины своего бюджета. Epoch AI считает поздний результат Sol слабым сигналом, что дополнительное время может помочь, но главным пробелом называет неумение критически оценивать собственные выводы, раскрывать неопределённость и пересматривать подход.