Carbon вышла на первое место

По данным The Decoder, Gemini 4 Carbon стала первой за некоторое время моделью не от OpenAI, занявшей верхнюю строчку математического бенчмарка MathArena. В опубликованной сводке для Carbon указаны ожидаемый результат 85,4% ± 3,0% и первое место в общем рейтинге. Claude Fable 5.2 расположилась второй, GPT-6.1 Sol — третьей.

Показатели из сводки MathArena, приведённой The Decoder
Модель и настройкиМестоОжидаемый результатОжидаемая стоимость
Gemini 4 Carbon (high)185,4% ± 3,0%$15,70 ± $1,33
Claude-Fable-5.2 (max)282,8% ± 5,3%$40,20 ± $2,59
GPT-6.1 Sol (max)380,6% ± 2,7%$1,07 ± $0,018
Kimi K3.1 Pro (max)Лучшая открытая модель54,3% ± 5,8%$3,70 ± $0,27

Высокий результат требует больших затрат

В тестировании использовали указанные в рейтинге настройки рассуждений. По оценке публикации, Carbon обходилась примерно в 15 раз дороже GPT-6.1 Sol, а Claude Fable 5.2 — примерно в 40 раз. Таблица приводит ожидаемую стоимость, но источник не уточняет в этом фрагменте единицу расчёта.

Среди типичных сбоев Carbon авторы отмечают превышение временного лимита. Модель почти не отказывается от задач: в одном описанном случае она запустила скрипт, который работал более одиннадцати часов, при этом модель не проверяла ход выполнения. В материале также сказано, что модели OpenAI пока не доступны публично.