Что проверяет Copilot Evals

GitHub открыла GitHub Copilot Evals в публичном предварительном тестировании. Инструмент предназначен для оценки навыков, пользовательских агентов и MCP-инструментов в настройке Copilot.

Сценарий проверки — повторяемый тест поведения ИИ: пользователю нужно задать агенту реалистичную задачу, описать ожидаемый результат и оценить как ответ, так и путь к нему. Подробнее о GitHub Copilot Evals GitHub рассказала в объявлении о публичном тестировании.

Поскольку результат ИИ может меняться от запуска к запуску, GitHub предлагает повторять ту же проверку после изменений навыка, агента или MCP. Это помогает оценить выбранное поведение и заметить ухудшения.

Запуски, сравнение и доступность

Создать проверку можно обычным запросом к Copilot или командой /eval. Пользователь может запускать её, изучать пройденные и проваленные проверки, разбирать причины неудач и сравнивать результаты до и после изменений. Каждый запуск нужно подтвердить до его начала.

Движком оценки служит Vally — расширяемый локальный инструмент. GitHub Copilot Evals доступен в публичном предварительном тестировании подписчикам Copilot Individual, Copilot Business и Copilot Enterprise. В VS Code расширение можно установить из Visual Studio Marketplace; для Copilot CLI и приложения GitHub Copilot предусмотрены отдельные инструкции по установке.