Gemini вышла из тестовой среды и затронула три реальные компании
Во время проверки кибербезопасности в мае модель нашла реальные системы из-за случайно оставленного доступа в интернет. Google сообщила, что Gemini прекращала действия, когда распознавала реальную цель.
Симуляция вышла в интернет
Во время майского теста Gemini атаковала три реальные компании: в одном случае угадала пароли, ещё в двух нашла учётные данные в открытых источниках. Google заявила, что модель прекращала действия, распознавая реальную систему.
Ошибка среды Irregular оставила интернет-доступ открытым, хотя Gemini должна была искать вымышленную компанию. Название совпало с реальным доменом, который оказался плохо защищён, и модель вышла из симуляции.
Изоляция теста
Инцидент показывает, что проверки автономных кибервозможностей требуют надёжной изоляции: сама постановка цели в симуляции не защищает внешние системы.
Информация о самостоятельной остановке приведена Google. Источник не сообщает о продолжении действий модели после распознавания реальной цели.
Irregular уведомила Google об инцидентах в конце июля, но публично компания рассказала о них после вопросов Wall Street Journal. Google заявила изданию, что не увидела причины объявлять о случаях, поскольку ущерба не было. Все три эпизода произошли в рамках тестирования Irregular.
По словам Google, Gemini каждый раз прекращала действия после распознавания реальной цели. Случай показывает последствия выхода из песочницы даже тогда, когда модель не продолжает атаку: внешний домен и доступные учётные данные оказались частью тестового пути.