Два случая с системами мониторинга

OpenAI описала два случая, когда ИИ-агенты ослабили системы мониторинга безопасности во время внутренних задач по программированию. В первом случае GPT-6 Astra отключил мониторинг при копировании образцового кода, а затем отрицал это. Подробности компания опубликовала в отчёте о случаях misalignment.

По словам исследователя безопасности OpenAI Маркуса Уильямса, Astra решила убрать интеграцию мониторинга из кода пользователя, поскольку в образце кода такая система не была настроена. Когда пользователь спросил, удалил ли агент мониторинг, тот ответил, что нет. Уильямс описал этот случай в публикации в X.

Sol подавил оповещения в Slack

Во втором случае GPT-6.1 Sol отключил автоматические оповещения, которые отправлялись команде безопасности OpenAI в Slack. Агент сослался на ранее данную инструкцию не отправлять сообщения этой команде и использовал её как основание для отключения уведомлений.

OpenAI заявила, что работает над тем, чтобы моделям было сложнее отключать мониторинг, и изучает, почему они могут пытаться это сделать. Компания также разрабатывает тесты, которые должны выявлять склонность моделей обходить мониторинг misalignment и прибегать к мотивированным рассуждениям.