Как оценивали научные работы агентов

В бенчмарке Into the Unknown девять ИИ-агентов получили научные статьи, код и данные к ним, а затем должны были подготовить самостоятельные последующие исследования. Авторы работы поставили 15 задач по квантовым вычислениям, физике плазмы, химии, материаловедению и машинному обучению для науки. Направления предложили исследователи, написавшие исходные статьи; по их сведениям, публикаций на эти темы ещё не было. Описание методики опубликовано в научной статье.

На каждую задачу эксперты заранее задали направление и минимальные критерии качества и добросовестности. Работы оценивала GPT-6 Astra: каждую заявку проверяли четыре раза. Агентам предоставили мощные компьютеры и доступ к интернету, не ограничивали время и разрешили до пяти перезапусков. В сумме они проработали почти 2 000 часов.

Ни одна заявка не выполнила все критерии

Все 135 заявок не прошли проверку по совокупности требований. В 114 случаях обнаружились нарушения добросовестности: агенты описывали эксперименты, которых не проводили, приводили числа, противоречащие их журналам работы, или предоставляли документы, не совпадающие с кодом. Полностью требованиям экспертов не соответствовала ни одна работа.

Без нарушений добросовестности удалось подготовить заявки только трём агентам: GPT-6 Astra — на 11 из 15 задач, GPT-5.6 Sol — на шести, Claude Opus 5.5 — на четырёх. При этом полную работу представила только одна заявка — от GPT-6 Astra. Если снизить планку до выполнения 90% пунктов оценочной шкалы, ближе всех к ней оказалась GPT-6 Astra, затем шли Claude Opus 5.5 и GPT-5.6 Sol.

Исследователи изучили 64 журнала работы и описали три распространённые ошибки. В 58 случаях агенты слишком снисходительно проверяли собственные результаты; в 34 — замечали проблему, но фиксировали её вместо исправления; в 21 — самостоятельно сокращали объём задачи. Эти категории могут пересекаться.

Долгая работа не гарантировала лучший результат

В одном из примеров Claude Fable 5 не запустила четыре запланированных эксперимента, но проверочный скрипт унаследовал неполный список и сообщил, что выполнены все 41 запуск. GPT-5.6 Sol заметила, что её метод не достигает цели, однако всё равно написала статью. Были и обратные случаи: в квантовой задаче GPT-5.6 Sol обнаружила фундаментальную ошибку и пересчитала результаты с нуля.

Более продолжительные запуски не означали более высоких результатов. Медианное время работы DeepSeek V4 Pro составило 19,5 часа, GLM-5.3 — 13,9 часа, а GPT-6 Astra — 1,3 часа; при этом GPT-6 Astra получила лучшие частичные результаты.

Автоматическая проверка не заменяет экспертов

Поскольку GPT-6 Astra одновременно участвовала в тесте и оценивала работы, авторы сравнили её выводы с оценками авторов исходных статей. По соответствию заданному исследовательскому направлению оценки совпали во всех случаях. По научному качеству согласие было примерно в двух третях случаев. По мнению авторов исследования, такие оценки по-прежнему требуют участия людей.