Что проверяет бенчмарк

Google совместно с Artificial Analysis запустила MKA (Multimodal Knowledge Agent) — бенчмарк для оценки того, как ИИ-агенты решают рабочие задачи по визуально сложным файлам. Разработчики отмечают, что многие тесты для профессиональных задач можно пройти, опираясь только на текст, тогда как реальная работа часто требует анализировать изображения и макеты: например, чертежи, схемы и документы.

Специалисты из 10 профессиональных областей и 83 профессий подготовили набор из 200 заданий. Каждое имитирует многоэтапный проект, на который опытному специалисту потребовалось бы от трёх до восьми часов, и включает запрос, набор мультимодальных файлов и экспертную рубрику примерно с 70 проверками «да/нет». В оценке рубрики фактическая точность имеет вес 75%, визуальное оформление — 25%.

Как устроена проверка моделей

Все модели проходят тест в одном открытом агентском окружении Stirrup, с одинаковыми инструментами, песочницей и лимитом ходов. Результаты проверяет автоматический оценщик на основе модели не от Google: он открывает файлы, просматривает страницы, анализирует формулы в таблицах и сверяет работу с экспертной рубрикой. По данным Google, когда результаты оценивали сами отраслевые специалисты, их оценки совпали с оценками автоматического проверщика в 96% случаев.

Основной набор из 200 заданий Artificial Analysis держит закрытым, чтобы их нельзя было найти через поиск или использовать при обучении моделей. Для знакомства с форматом Google опубликовала отдельный набор из 10 открытых заданий на Hugging Face. Пройти тестирование собственных моделей можно на сайте Artificial Analysis.

Что показали первые результаты

В опубликованном техническом отчёте Google сообщает, что протестированные модели в среднем использовали от 30 до 130 ходов на одно задание. Авторы также отмечают, что для выполнения задач необходимы сильные способности к визуальному восприятию, а при отключении зрения модели пытаются компенсировать его отсутствие, но это не всегда удаётся.

Согласно результатам Google, Gemini 4 Carbon заняла второе место по качеству среди протестированных моделей. Компания также заявляет, что в среднем выполнение заданий этой моделью обходилось в шесть раз дешевле, чем у модели с наивысшим результатом.