Новый тест проверяет доработку существующих приложений

Исследователи Alibaba и нескольких азиатских университетов создали Co-Design Bench — тест, в котором ИИ-агенты должны менять существующие веб-приложения по запросам пользователей. В заданиях могут понадобиться изображения, аудиозаписи, видео или документы.

Согласно статье с описанием теста, лучшая из десяти проверенных моделей — GPT-6 Astra — в среднем выполняет около 70% требований задания. Однако полностью правильный результат она выдала лишь в 26,4% случаев. В большинстве заданий агент делает основную работу, но оставляет хотя бы одну деталь незавершённой.

В тест вошли задачи, с которыми агенты сталкивались на практике

Авторы объясняют разработку теста тем, что на существующих бенчмарках модели набирают более 99%, когда могут запускать, проверять и исправлять собственный код. На таких испытаниях становится трудно различить результаты моделей. В сравнении с ними Co-Design Bench показывает разрыв более чем в 35 процентных пунктов.

Для нового бенчмарка использовали реальные запросы из сессий разработки. Исследователи отбирали в том числе случаи, когда пользователям приходилось переформулировать запрос или отменять изменения. Задания охватывают и небольшие правки — например, извлечение суммы из чека с обновлением зависимых итогов, — и крупную переработку проекта.

Оценивание также устроено строго: один ИИ-судья проверяет готовое приложение в браузере, а второй перепроверяет положительные оценки и ищет макеты или подставные значения. Баллы начисляются только за функции, которые действительно работают.

На результат влияют сочетание правок и среда запуска

Когда задача одновременно затрагивает несколько типов изменений — например, оформление, дизайн, взаимодействие и содержание, — результаты ухудшаются у всех десяти моделей. GPT-6 Astra возглавила мультимодальный и репозиторный треки, но полностью решила 41% заданий в первом и чуть менее 18% во втором. На крупных переработках Qwen3.8-27B заняла второе место; авторы не считают это доказательством общего преимущества модели.

Отдельная проверка показала, что на результат влияет и среда, через которую агент читает, меняет и запускает код. На крупных переработках Qwen3.8-27B набирала 75% или около 56% в зависимости от такой среды; менялось и то, какая из двух сравниваемых моделей оказывалась впереди. Поэтому авторы рекомендуют указывать модель вместе со средой запуска.

У бенчмарка есть ограничения: для каждого задания предусмотрен один фиксированный запрос, без уточнений и исправлений по ходу работы, а ИИ-судьи могут ошибаться. В другом сравнении GLM-5.2 использовала почти в шесть раз больше токенов, чем GPT-6 Astra, на небольших правках и всё равно показала существенно худший результат.