Четыре организации проверят системы OpenAI на месте

OpenAI сообщила о программе проверок, в которой участвуют Apollo Research, METR, Transluce и Goodfire. Аудиторы получат доступ к системам компании в её офисах, чтобы изучать риски безопасности и поведение моделей. Программа развивает прежнюю проверку систем мониторинга и, по данным OpenAI, выполняет обязательства по «Соглашению Белого дома о сверхинтеллекте».

Доступ будет зависеть от задачи: он может включать невыпущенные модели, исходный код, данные обучения и системы мониторинга. Аудиторы также смогут конфиденциально беседовать с разработчиками.

Что будут изучать аудиторы

  • Apollo Research проверит, пытаются ли модели тайно действовать вопреки намерениям разработчиков.
  • METR изучит некорректное поведение ИИ в крупнейшем обучении с подкреплением — методе, при котором модели учатся на вознаграждениях.
  • Goodfire проанализирует внутренние процессы моделей, а Transluce — проверки безопасности после обучения.
  • OpenAI и Transluce планируют провести дополнительную восьминедельную проверку в начале 2027 года.

Отчёты опубликуют с возможными задержками и изъятиями

За процессом будет следить независимый совет по безопасности: он получит полные версии отчётов и будет разрешать споры. Аудиторы опубликуют выводы самостоятельно, но OpenAI сможет скрыть конфиденциальные сведения и отложить публикацию, чтобы сначала устранить выявленные риски.

Компания ожидает, что на начальном этапе сотрудничество может сопровождаться разногласиями. OpenAI также рассматривает новые проверки, в том числе посвящённые корпоративной культуре и внутренним процессам.