Агентов проверили в виртуальной компании

The Decoder описывает эксперимент, в котором ИИ-агенты впервые проверили не только на отдельных задачах, а в роли цифровых сотрудников симулированной софтверной компании. В окружении были коллеги, проектные доски и история переписки.

По данным издания, даже Claude Opus 5.5 и GPT-6 Astra полностью завершили меньше одной из десяти поставленных задач.

Иллюстрация к эксперименту с ИИ-агентами в виртуальной компании
ChatGPT-5.6, сгенерированное изображение по запросу The Decoder · Источник изображения

Оценки на стандартных тестах не отражают всю картину

Издание сопоставляет результат с успехами агентов на обычных тестах программирования, которые, по его оценке, приближаются к насыщению. В качестве примера The Decoder приводит SWE-bench, для которого OpenAI ранее указывала на проблемы с частью заданий.

Также в материале приводится заявление Anthropic: по словам компании, Claude пишет более 80% её производственного кода. Сам по себе этот показатель не показывает, насколько успешно агент справляется с комплексной работой в командном окружении.

The Decoder ссылается на заявление Anthropic о доле кода, написанного Claude и на разбор OpenAI проблем с SWE-bench.