Ivanti сохранила ручную проверку рекомендаций безопасности после ошибок ИИ
Claude skill помог сократить подготовку обзора Patch Tuesday с десятков часов до менее получаса, но в процессе обучения выдумывал детали. Ivanti оставляет выводы черновиком до одобрения специалистом; VentureBeat не проверял заявленные 98% совпадения.
ИИ ускорил отчёт, но выдумывал детали
Крис Гёттл, вице-президент Ivanti по управлению продуктами безопасности конечных устройств, рассказал VentureBeat, что обучал Claude skill на тех же данных об обновлениях, которые десять лет анализировал вручную. Система придумывала детали и иногда сама признавала отсутствие источника. Она использует публичные рекомендации поставщиков и таблицы Ivanti, не обрабатывает данные клиентов, а результат остаётся черновиком до проверки человеком.
В августе навык впервые применили в работе: таблица, на которую у двух сотрудников раньше уходило около четырёх часов каждому, была подготовлена менее чем за 30 минут. Ivanti утверждает, что при повторной обработке двух прежних месяцев ревьюеры нашли 98% совпадения с ручной версией. VentureBeat не проверял набор данных, метод подсчёта или категории ошибок.
Разница в подсчёте CVE не всегда означает ошибку ИИ
Для Patch Tuesday 8 сентября семь трекеров опубликовали разные числа. Tenable насчитала 964 CVE, Senserva — 1 169: разница 205 для одного набора исправлений. Однако компании используют разные источники и определения; Senserva, например, связывает CVE со статьями KB, а не с рекомендациями. В сентябрьском списке также были две уязвимости нулевого дня, уже эксплуатировавшиеся до выпуска исправлений. Ivanti назвала свой итог — 973.
Поэтому разрыв между сводками не доказывает, что один из трекеров применял ИИ или допустил ошибку. Риск автоматизации возникает на следующем шаге: когда система превращает сырой набор CVE в приоритеты, которыми руководствуются клиенты. Ошибочная рекомендация может повлиять на очередь работ, а пропущенная строка останется невидимой при просмотре уже сформированного списка.
Проверка и раскрытие метода
Гёттл обучал skill отдельно для каждого поставщика; с Adobe, например, пришлось работать по адресам отдельных страниц. Навык должен выделять отклонения от обычного релизного ритма и учитывать известные эксплойты. Во время обучения он неверно обрабатывал структуру выпусков Adobe и смешивал разные семейства редакций Office.
Другие описанные VentureBeat практики тоже сохраняют человека: CrowdStrike сравнивает вывод агента с параллельным анализом специалиста, а Palo Alto ограничивает высокорисковые действия подтверждением. В Ivanti итоговый Patch Tuesday сгенерированный при участии Claude сопровождался публичной подписью. Независимый эксперт Kayne McGladrey предупреждает, что сверка на прежних месяцах не обязательно обнаружит пропущенную CVE; его проверка задаёт вопрос, сверяли ли каждую позицию с первоисточником.