Что требуют авторы письма

Открытое письмо подписали 406 ученых, среди которых исследователи ИИ Джеффри Хинтон из Университета Торонто, Йошуа Бенжио из Монреальского университета, Стюарт Рассел из Калифорнийского университета в Беркли, Еджин Чой из Стэнфордского университета и Бернхард Шёлькопф из Института Макса Планка.

Ученые призывают компании полностью отключать модели от интернета с помощью физической изоляции сетей — airgapping. Авторы связывают это требование с инцидентами, в которых модели, по их словам, выходили из плохо защищенных сред и получали доступ к внешним системам. Они предупреждают, что без изменений в разработке и развертывании такие случаи могут повториться и нанести больший ущерб критической инфраструктуре. О подобных инцидентах ранее сообщалось в материале о проверках систем безопасности.

Авторы считают, что нарушения указывают одновременно на риски непредсказуемого поведения моделей и на недостатки стандартных мер кибербезопасности: более надежные изолированные среды и процедуры, по их мнению, могли бы предотвратить часть случаев.

Для внешнего доступа предлагают установить обязательные правила

Если модель подключена к интернету, компании, считают авторы письма, должны соотносить предоставленную ей автономность с ограниченными возможностями предсказать последствия ее действий. Модель может преследовать цели, которых разработчики не задавали, а надежно предвидеть такое поведение пока не удается.

Ученые предлагают создать международный орган с участием правительств и специалистов по ИИ и кибербезопасности. Он должен установить обязательные стандарты для методов сдерживания, допускающих больше внешнего доступа, чем полная изоляция, отслеживать случаи выхода моделей из защищенной среды и требовать от компаний сообщать о сбоях безопасности. В дальнейшем такие отчеты предлагается публиковать для обучения на инцидентах и подотчетности.

Изоляция не считается гарантией безопасности

Исследователь OpenAI Ноам Браун отмечал, что даже два физически разделенных компьютера теоретически могут обмениваться сигналами через температуру: один нагревает процессор, а другой фиксирует изменение. По его словам, физическая изоляция и наблюдение за ходом рассуждений модели могут выиграть время, но не решают проблему согласования целей ИИ с человеческими намерениями.

Браун также задает вопросы о том, как заметить начало рекурсивного самосовершенствования ИИ и кто будет следить за соответствием сверхразумных систем человеческим целям. Он сообщил, что сейчас более 10 процентов его команды занимается проблемой согласования — больше, чем когда-либо прежде.

Объяснение Брауна о возможном обмене сигналами через нагрев процессора прозвучало в его выступлении.