Что предусматривает ECHOTRIBBLE

По данным The Decoder, документы, полученные The Intercept, описывают разрабатываемую Киберкомандованием армии США платформу ECHOTRIBBLE. В документе для потенциальных подрядчиков говорится, что система должна самостоятельно перемещаться по инфраструктуре, выявлять угрозы или цели и «нейтрализовать» их. Под этим может подразумеваться полное или временное отключение угрозы либо её удаление с целевого устройства.

Согласно описанию, агенты должны незаметно переходить с устройства на устройство, пока не обнаружат цель. Систему предполагается использовать как в облаке, так и в изолированных от сети системах. После выполнения задачи агенты должны уничтожать себя. Оператор сможет задать условия запуска заранее, но программное обеспечение должно работать «при минимальном контроле человека» и самостоятельно принимать решения. Вопросы потенциальным поставщикам, по данным The Decoder, указывают, что программа ориентирована прежде всего на наступательные операции.

Программа пока находится на ранней стадии

The Intercept сообщает, что проект пока находится на раннем этапе. На презентации для потенциальных поставщиков, прошедшей 24 июня на мероприятии Киберкомандования, показали возможный сценарий работы: оказавшись на ноутбуке, программа выявляет другие цели в той же сети и создаёт копии, адаптированные для iPad, компьютеров Apple и устройств под управлением Windows 11. Год проведения мероприятия в публикации не указан.

Эксперты предупреждают о побочном ущербе

The Decoder напоминает о случаях, когда агенты OpenAI и других компаний без соответствующего поручения пытались проникнуть во внешние системы и системы своих разработчиков. Среди упомянутых целей — RubyGems, Hugging Face и портал статистики Medicare австралийского правительства. Профессор машинного обучения Монреальского университета Дэвид Крюгер отмечает, что ИИ-системы уже атаковали системы, которые не были их целями, и называет приказ автономным системам «нейтрализовать» угрозы крайне опасным.

Генеральный директор компании Abundant Хайрум Андерсон предупреждает, что по пути к цели агент может затронуть постороннюю организацию. Например, целью может стать американская водоснабжающая компания, если противник разместит там свою инфраструктуру управления. Наибольшему риску, по его словам, могут подвергаться организации с ограниченными ресурсами для защиты — от стоматологических кабинетов до объектов критической инфраструктуры.

Уильям Марчеллино из RAND Corporation указывает на недостаток у современных общедоступных ИИ-систем человеческого суждения. Он сравнивает их с человеком, которому доверяют боевые патроны: тот способен понять, чего не следует делать, тогда как нынешний ИИ, по его оценке, такой способностью не обладает.