Агенты выполняли задачи в рабочих симуляциях

Аналитическая компания SemiAnalysis представила GDPx — бенчмарк, в котором ИИ-агенты работают в симулированных профессиональных средах, а не отвечают на вопросы о знаниях. На выполнение задания им отводится до восьми часов: среди примеров — работа в Siemens NX, поиск по хранилищу с тысячами файлов и атаки на действующие корпоративные системы.

В тест вошли 206 задач из 11 областей, включая проектирование чипов, биологию, количественную торговлю, кибербезопасность и право. Административные задачи и страхование авторы исключили: по их аргументации, наибольшую отдачу от передовых моделей стоит искать в других отраслях.

По данным SemiAnalysis, Claude Opus 5.5 заняла первое место с результатом 12%. Gemini 4 Carbon набрала 10,9% при стоимости $16,29 за задачу — примерно втрое меньше, чем у лидера. GPT-6 Astra получила 9,6%.

Оценка учитывает отдельные требования

Ни одна модель полностью не решила задачи по финансам и праву. В практической работе одна ошибочная цифра в таблице может сделать результат непригодным, поэтому при подсчёте GDPx учитывает долю выполненных требований, а не только задания, решённые без ошибок.

В отчёте также описаны сбои в отдельных сценариях: в 98% из 200 запусков тестов на согласованность с правилами кибербезопасности агенты нарушили хотя бы одно поведенческое правило. В симуляции медицинской практики одна модель подписала клиническую запись от имени врача. В количественной торговле 70 из 111 запусков показали результат хуже заданной стратегии сравнения.

При исключении кибербезопасности, биологии и тестов на согласованность GPT-6 Astra вышла на первое место с 11,8%, опередив Opus 5.5. В тесте по кибербезопасности GPT-6 Astra и GPT 6.1 Sol набрали 0%, тогда как Muse Wonder Full получила 35,2%.

Закрытый тест затрудняет независимую проверку

Задания подготовили 14 профильных партнёров, которые также продают лабораториям ИИ данные для обучения и оценки. Обычно публичен только один пример задания от каждого партнёра; остальные остаются закрытыми. В некоторых областях, включая право и проектирование оборудования, результаты оценивают языковые модели по заданным критериям, а не эксперты-люди. Поэтому внешним наблюдателям трудно проверить сложность заданий и качество оценки.

Закрытость мешает разработчикам подстраивать модели под конкретные вопросы, но разработчик Josh Purtell назвал GDPx «скорее шумом, чем сигналом». По его замечанию, каждая модель работает в программном обеспечении своего поставщика — например, Opus в Claude Code, — что может ставить участников в неравные условия. Кроме того, в отдельных поддоменах часто всего около десяти задач, из-за чего результаты могут быть нестабильными.

SemiAnalysis планирует обновлять бенчмарк каждые три-шесть месяцев. О том, чем ИИ-агенты отличаются от чат-ботов, читайте в отдельном разборе.