Тест проверяет работу с облачной инфраструктурой

CloudOpsBench — открытый тест для оценки ИИ-агентов на типичных DevOps-задачах в облаке. Версия 1.0 включает 45 заданий для AWS: от устранения проблем в сервисах и удаления ресурсов до ограничения прав доступа, обновления систем и закрытия проектов. Тест разработали опытные инженеры DevOps.

Задания выполняются одинаково как в реальном облаке AWS, так и в эмуляторе. Авторы планируют добавить тесты для GCP, Azure и OCI. Проект на GitHub опубликован по лицензии Apache 2.0.

Большинство ошибок авторы связывают с рассуждением

Лучший результат среди упомянутых моделей показала Claude Fable 5.1: она решила 60% заданий. GPT-6 Astra справилась с 53%. Ни одна модель не выполнила весь тест.

По оценке команды под руководством Анг Чена из Мичиганского университета, около 80% неудач связаны не с недостатком знаний, а с рассуждением: агенты неверно определяют масштаб задачи, не проверяют все нужные сервисы или прекращают работу слишком рано. Примерно 20% ошибок — неверные действия; некоторые из них могут иметь необратимые последствия для инфраструктуры. Подробный разбор типов ошибок опубликован на сайте проекта.