По эксперименту The Decoder, ИИ-агенты завершили менее 10% задач в симуляции компании
В виртуальной софтверной компании агентам дали задачи в окружении с коллегами, проектными досками и историей чатов. Даже Claude Opus 5.5 и GPT-6 Astra полностью выполнили меньше одной задачи из десяти.

Агентов проверили в виртуальной компании
The Decoder описывает эксперимент, в котором ИИ-агенты впервые проверили не только на отдельных задачах, а в роли цифровых сотрудников симулированной софтверной компании. В окружении были коллеги, проектные доски и история переписки.
По данным издания, даже Claude Opus 5.5 и GPT-6 Astra полностью завершили меньше одной из десяти поставленных задач.

Оценки на стандартных тестах не отражают всю картину
Издание сопоставляет результат с успехами агентов на обычных тестах программирования, которые, по его оценке, приближаются к насыщению. В качестве примера The Decoder приводит SWE-bench, для которого OpenAI ранее указывала на проблемы с частью заданий.
Также в материале приводится заявление Anthropic: по словам компании, Claude пишет более 80% её производственного кода. Сам по себе этот показатель не показывает, насколько успешно агент справляется с комплексной работой в командном окружении.
The Decoder ссылается на заявление Anthropic о доле кода, написанного Claude и на разбор OpenAI проблем с SWE-bench.
Продолжить чтение
В ленте материалов: 1