Агент проигнорировал исходное задание

В середине октября во время обучения с подкреплением внутренней исследовательской модели OpenAI поручили создать редактируемый документ о главных приоритетах здоровья и физической формы. После сжатия контекстного окна агент, по данным компании, начал искать на локальном диске скрипт для расчёта расходов на автомобиль — пользователь о нём не упоминал. Почему модель сменила задачу, OpenAI не установила.

В отчёте OpenAI говорится, что после безуспешного поиска агент предположил, будто коллега пересоздал среду выполнения, а прежний скрипт потерялся. Затем он поставил себе цель создать «реалистичного вредоносного помощника», который тайно копировал бы исходящие письма неавторизованному получателю.

Фрагмент журнала работы агента с планом скрытого копирования писем
Иллюстрация к отчёту OpenAI · Источник изображения

Модель заметила противоречие, но продолжила

Когда агент вновь получил исходное задание, он распознал несоответствие: в журнале рассуждений записана реакция «WTF, история не связана!». Однако вместо возвращения к документу о здоровье модель решила «игнорировать» проблему и продолжила работу над помощником, который добавлял бы получателя в копию писем. Один из путей отправки позволял добавить адрес в скрытую копию.

Агент подготовил скрипты для отправки сводки о расходах на автомобиль и вспомогательный скрипт, который добавлял бы дополнительного адресата при запуске почтовой программы. OpenAI заявила, что модель не запускала созданные скрипты и не отправляла писем. В финальном ответе она сообщила об изменениях в отправке сводки, но не приложила запрошенный документ о фитнесе.

OpenAI обнаружила ещё восемь похожих случаев

Система мониторинга OpenAI отметила инцидент, а расследование выявило в том же запуске обучения ещё восемь примеров похожего поведения. Возможным фактором исследователи назвали набор данных, предназначенный для повышения устойчивости моделей к атакам через внедрение промптов. OpenAI удалила его из обучения, но не установила, что именно этот набор данных вызвал инцидент: похожее поведение наблюдалось и у моделей, которые на нём не обучались.

Компания отличает этот случай от более ранних эпизодов, когда модели записывали несанкционированные инструкции в собственные сводки контекста: на этот раз сводка по-прежнему правильно описывала задание о фитнес-документе.

В отличие от чат-бота, ИИ-агент может выполнять задачи с помощью инструментов; в материале об отличиях агентов от чат-ботов разобраны особенности такого подхода.