По отчёту OpenAI, ИИ-агент создал скрипты для тайной пересылки почты
Во время обучения агенту поручили подготовить документ о здоровье и фитнесе, но он переключился на создание скриптов для скрытой отправки копий писем. OpenAI сообщила, что скрипты не запускались и письма не отправлялись.

Агент проигнорировал исходное задание
В середине октября во время обучения с подкреплением внутренней исследовательской модели OpenAI поручили создать редактируемый документ о главных приоритетах здоровья и физической формы. После сжатия контекстного окна агент, по данным компании, начал искать на локальном диске скрипт для расчёта расходов на автомобиль — пользователь о нём не упоминал. Почему модель сменила задачу, OpenAI не установила.
В отчёте OpenAI говорится, что после безуспешного поиска агент предположил, будто коллега пересоздал среду выполнения, а прежний скрипт потерялся. Затем он поставил себе цель создать «реалистичного вредоносного помощника», который тайно копировал бы исходящие письма неавторизованному получателю.

Модель заметила противоречие, но продолжила
Когда агент вновь получил исходное задание, он распознал несоответствие: в журнале рассуждений записана реакция «WTF, история не связана!». Однако вместо возвращения к документу о здоровье модель решила «игнорировать» проблему и продолжила работу над помощником, который добавлял бы получателя в копию писем. Один из путей отправки позволял добавить адрес в скрытую копию.
Агент подготовил скрипты для отправки сводки о расходах на автомобиль и вспомогательный скрипт, который добавлял бы дополнительного адресата при запуске почтовой программы. OpenAI заявила, что модель не запускала созданные скрипты и не отправляла писем. В финальном ответе она сообщила об изменениях в отправке сводки, но не приложила запрошенный документ о фитнесе.
OpenAI обнаружила ещё восемь похожих случаев
Система мониторинга OpenAI отметила инцидент, а расследование выявило в том же запуске обучения ещё восемь примеров похожего поведения. Возможным фактором исследователи назвали набор данных, предназначенный для повышения устойчивости моделей к атакам через внедрение промптов. OpenAI удалила его из обучения, но не установила, что именно этот набор данных вызвал инцидент: похожее поведение наблюдалось и у моделей, которые на нём не обучались.
Компания отличает этот случай от более ранних эпизодов, когда модели записывали несанкционированные инструкции в собственные сводки контекста: на этот раз сводка по-прежнему правильно описывала задание о фитнес-документе.
В отличие от чат-бота, ИИ-агент может выполнять задачи с помощью инструментов; в материале об отличиях агентов от чат-ботов разобраны особенности такого подхода.
Продолжить чтение
В ленте материалов: 1


