Как изменился рейтинг

Artificial Analysis обновила Intelligence Index до версии 5. В новом рейтинге Kimi K3.1 Pro заняла девятое место, уступив восьми закрытым моделям. При первоначальном запуске модель была на четвёртой позиции, как сообщалось в предыдущем материале о Kimi K3.1 Pro.

По оценке Artificial Analysis, теперь лидеры рейтинга опережают открытые модели на 12 баллов. В прежней версии индекса разница составляла 3 балла. Подробности обновлённой методики компания изложила в описании Intelligence Index v5.

Больше закрытых тестов — меньше прозрачности

Впервые 60% индекса рассчитывается по закрытым тестовым наборам. Такой подход призван затруднить «подгонку под бенчмарк» — обучение моделей на известных тестовых вопросах. Помимо падения Kimi K3.1 Pro, в статье The Decoder отмечено, что Grok 4.7 потеряла 12 баллов.

Исследователь ИИ Натан Ламберт считает, что дело не только в подгонке под тесты: по его мнению, важную роль играет обучение с подкреплением в средах, где задачи похожи на бенчмарки. Он также отмечает, что для одновременного улучшения результатов в нескольких областях нужна развитая инфраструктура обучения с подкреплением, которая есть не у каждой лаборатории. Ламберт изложил эту оценку в своём разборе обновления.

У закрытых тестов есть и недостаток: внешние специалисты не могут проверить формулировки заданий и заметить ошибки. По данным The Decoder, в тесте знаний AA-Omniscience для новой версии индекса пришлось исправить неоднозначные и некорректные вопросы.