GitHub Copilot Evals вышел в публичное предварительное тестирование
Инструмент помогает проверять навыки, пользовательских агентов и MCP-инструменты в настройке Copilot, сравнивать запуски и находить регрессии.

Что проверяет Copilot Evals
GitHub открыла GitHub Copilot Evals в публичном предварительном тестировании. Инструмент предназначен для оценки навыков, пользовательских агентов и MCP-инструментов в настройке Copilot.
Сценарий проверки — повторяемый тест поведения ИИ: пользователю нужно задать агенту реалистичную задачу, описать ожидаемый результат и оценить как ответ, так и путь к нему. Подробнее о GitHub Copilot Evals GitHub рассказала в объявлении о публичном тестировании.
Поскольку результат ИИ может меняться от запуска к запуску, GitHub предлагает повторять ту же проверку после изменений навыка, агента или MCP. Это помогает оценить выбранное поведение и заметить ухудшения.
Запуски, сравнение и доступность
Создать проверку можно обычным запросом к Copilot или командой /eval. Пользователь может запускать её, изучать пройденные и проваленные проверки, разбирать причины неудач и сравнивать результаты до и после изменений. Каждый запуск нужно подтвердить до его начала.
Движком оценки служит Vally — расширяемый локальный инструмент. GitHub Copilot Evals доступен в публичном предварительном тестировании подписчикам Copilot Individual, Copilot Business и Copilot Enterprise. В VS Code расширение можно установить из Visual Studio Marketplace; для Copilot CLI и приложения GitHub Copilot предусмотрены отдельные инструкции по установке.
Продолжить чтение
В ленте материалов: 1


