Результаты теста

В описанном The Decoder исследовании коммерчески доступные ИИ-агенты проверяли на 50 задачах по теоретической физике без подсказок от людей. GPT-6-Astra, работавшая в среде программирования OpenAI Codex, решила 49 задач — 98%. По оценке авторов, запуск стоил в среднем менее $3 на задачу и чуть менее $116 за весь тест.

Задачи намеренно не включали крупные нерешённые научные вопросы. Они проверяли так называемую рутинную исследовательскую работу: применение известных методов к немного изменённым условиям. Авторы отмечают, что подобные задания нередко дают аспирантам как первые исследовательские проекты.

Тест охватывал 11 областей теоретической физики — от течений жидкостей и биологических процессов до физики частиц и космологии. Каждый агент проходил его дважды: с поиском в интернете и без доступа к сети.

Сравнение моделей и влияние поиска

В тесте с веб-поиском второе место заняла Opus 5.5 от Anthropic в Claude Code с результатом 92%. Gemini 3.8 Flash от Google решила 68% задач, а модели с открытыми весами DeepSeek-V4.1-Flash и GLM 5.3 — 54% и 42% соответственно.

Без веб-поиска GPT-6-Astra и Opus набрали по 92%. Авторы предполагают, что небольшая разница связана с тем, что многие задачи опираются на формулы из научных статей, которые модели обычно не получали в условии. По их интерпретации, результаты могут указывать на то, что ведущие языковые модели усвоили значительную часть литературы по теоретической физике.

При поиске Astra не решила одну задачу, не поддавшуюся ни одной модели: требовалось вывести уравнение, порождающее заданную кривую. Авторы признают, что условие могло показаться «несправедливым», но считают его реалистичным: исследователям часто приходится восстанавливать лежащую в основе физику по неточным данным.

Проверка выявила ошибки в эталонных ответах

В нескольких задачах последующая проверка вместе с экспертами обнаружила небольшие ошибки в эталонных решениях. После исправлений ответы Astra в этих случаях оказались правильными. Это важно для оценки теста: выводы зависят не только от работы моделей, но и от точности ключа, по которому проверяют их результаты.

Авторы также отмечают, что агенты показали на TheoPhysEval более высокие результаты, чем на некоторых других тестах по физике, например CritPt. Они ссылаются на исследование, в котором сообщается, что некоторые тесты по теоретической физике содержат ошибки оценивания и могут существенно занижать способности моделей. Условия и материалы TheoPhysEval доступны в наборе данных на Hugging Face.

Расчёты ещё не означают научный прорыв

Авторы считают, что сильнейшие современные модели могут уже превосходить лучших специалистов в конкретных расчётах, в том числе узкоспециализированных. Однако теоретическая физика пока не получила прорыва, сопоставимого с решением открытых математических задач, о котором заявляла OpenAI применительно к уравнениям Навье — Стокса.

По мнению исследователей, проверяемый расчёт обычно завершает научную работу: до него нужно построить теорию и выбрать подходящий вопрос. Если задача слишком трудна, исследователь может переключиться на более простую, но интересную. Авторы считают, что нынешним агентам не хватает этой способности, а также человеческого «чутья» при выборе значимых задач. Они подчёркивают, что такие наблюдения нельзя количественно оценить и что они не являются прогнозом развития ИИ.

Влияние на подготовку исследователей и доступ к науке

Авторы полагают, что некоторые задачи из теста уже не подходят в качестве первых исследовательских проектов для начинающих физиков, если цель — именно получить самостоятельный научный опыт, а не отработать материал. При этом нынешний тест остаётся недорогим: полный запуск Astra обошёлся примерно в $116. Для более сложных задач исследователи ожидают резкого роста потребности в ресурсах.

Если стоимость вычислений вырастет, бюджет научной группы может сильнее влиять на её возможности даже в теоретической физике, где исследования исторически требовали меньше средств, чем эксперименты. Авторы считают, что области стоит заранее обсуждать доступ к ИИ и равенство возможностей.