GPT-6 Astra возглавила ErdosBench по открытым математическим задачам
На тесте из 226 задач Astra решила 106, включая 43 полностью, и опровергла 27 исходных утверждений. Разработчик бенчмарка оценил прирост исследовательских навыков в 5–10%, но тест не исчерпывает математические возможности моделей.
Результат на ErdosBench
GPT-6 Astra заняла первое место на ErdosBench — наборе из 226 нерешённых задач, вдохновлённых проблемами Эрдёша. Согласно данным разработчика бенчмарка, модель решила 106 задач, 43 полностью, и ещё в 27 случаях показала, что исходные утверждения ошибочны. Итоговый балл составил 3,23.
Для сравнения, GPT-5.6 Sol при максимальном уровне рассуждений решила 78 задач и получила 3,12. Разработчик теста Пржемек Хойецки оценил преимущество примерно в 5–10% для проверяемых навыков математического исследования. Он также отметил более сильные научные объяснения Astra и меньшую склонность к чрезмерным заявлениям.
Приоритеты разработки и границы теста
OpenAI утверждает, что математические задачи не были главным приоритетом при разработке Astra: компания направляет ресурсы на самоулучшение и исследования согласования. Это объяснение приоритетов самой компании.
ErdosBench охватывает отобранный набор задач и, по оценке его разработчика, ещё не достиг предела возможностей моделей. Первое место подтверждает сильный результат на этом тесте, но не показывает равномерный прогресс во всех направлениях математики.
В наборе 226 задач Astra решила 106, включая 43 полностью; в 27 случаях модель показала, что исходные утверждения неверны. GPT-5.6 Sol решила 78 задач и набрала 3,12 балла против 3,23 у Astra при указанном в сравнении режиме максимального рассуждения.
Разработчик ErdosBench оценивает преимущество Astra в проверяемых навыках математического исследования примерно в 5–10%. Он также отмечает более сильные научные объяснения и меньшую склонность к завышенным заявлениям. Сам разработчик считает набор ещё далёким от предела возможностей моделей; это результат конкретного теста, не общая оценка математики.