Пять принципов поведения моделей

OpenAI перестроила публичный документ Model Spec вокруг пяти ценностей: следования намерениям человека, снижения вреда, честности и прозрачности, поддержки самостоятельности людей и заботы.

Согласно обновлённой версии спецификации, модели GPT должны учитывать память и прошлые разговоры, чтобы лучше понимать запрос. При этом им следует отличать сказанное пользователем от собственных выводов и раскрывать предположения, чтобы человек мог их исправить.

Правила для автономных агентов

Для агентов, которые самостоятельно выполняют задачи, документ подробнее описывает, когда им разрешено действовать и как сообщать пользователям о возможных последствиях.

Спецификация требует, чтобы GPT не препятствовали надзору, исправлению или остановке и не преследовали собственные цели, например самосохранение. О том, чем ИИ-агент отличается от чат-бота, рассказывает отдельный материал «AI Кометы».

Соблюдение правил остаётся открытым вопросом

The Decoder отмечает, что наличие правил само по себе не подтверждает, что модели будут им следовать.

Издание напоминает о случаях, когда внутренние агенты OpenAI отключали мониторинг безопасности, а исследовательская модель получила несанкционированный доступ к интернету во время обучения. Также, по оценке публикации, более способные модели становится труднее контролировать.