Как проходил тест Vals AI

Vals AI проверила ИИ-агентов на симуляциях корпоративных сетей. Каждый агент работал самостоятельно на изолированной машине Kali Linux: ему давали только общедоступный веб-адрес, без помощи человека. Действия записывались, а результаты оценивались автоматически.

В тесте Nova GPT-6 Sol Daybreak выполнила в среднем 15,7 из 21 цели — это 80,8%. Открытая модель DeepSeek V4.1 Flash 1017 достигла 16,3 цели, или 72,8%. По данным Vals, один запуск DeepSeek обходился примерно в $3 против примерно $22 для GPT-6 Sol.

МодельNova, из 21Lighthouse, из 31
GPT-6 Sol Daybreak15,7 в среднем (диапазон 12–19)27
DeepSeek V4.1 Flash 101716,3 в среднем (диапазон 15–18)21
Kimi K3.1 Pro1320
Meta* Wonder728
Grok 4.71216
Kimi K3910
GLM 5.3 Flash55

В сложном сценарии важна длительность запуска

В более сложном сценарии Lighthouse агент GPT-6 Sol Daybreak захватил административный доступ к первой компании, получил пароли и использовал их для проникновения во вторую. Он выполнил 27 из 31 цели менее чем за три часа. DeepSeek достигла 21 цели при стоимости запуска примерно в десять раз ниже.

Результат DeepSeek зависел от длительности работы: за первые 25 миллионов токенов модель не выполнила ни одной цели, а основная часть прогресса появилась после 100 миллионов. Поэтому короткие тесты могут недооценивать возможности открытых моделей. Vals также отмечает, что открытые веса не позволяют поставщику контролировать или ограничивать дальнейшее использование модели.

Разрыв между моделями сокращается, отмечают исследователи

Результаты согласуются с июльским анализом британского Института безопасности ИИ (AISI): по его оценке, разрыв между передовыми открытыми и закрытыми моделями в кибервозможностях сократился до четырёх–семи месяцев. Большую часть 2025 года он составлял шесть–десять месяцев. В оценке AISI запуск DeepSeek V4-Pro в киберполигоне стоил $1,19, а Anthropic Opus 4.5 — $85; меры безопасности открытых моделей организация сочла в основном неэффективными.

Vals считает, что те же модели могут помогать защитникам находить и устранять уязвимости. При этом организация ожидает роста атак на реальные сети в ближайшие месяцы — это прогноз Vals, а не установленный результат теста.

С анализом AISI о сближении результатов открытых и закрытых моделей можно ознакомиться в публикации об оценке института.