Что VisionQuest говорит о сознании машин

В сериале Marvel VisionQuest синтетический Вижн пытается разобраться в себе и людях. Он помнит свою смерть и возвращение в WandaVision, но не считает связанные с этими событиями воспоминания полностью своими. В его сознании живут другие ИИ-персонажи, созданные Тони Старком; они воспринимают Вижна как члена семьи и побуждают его выйти в реальный мир.

The Verge отмечает, что сериал не сомневается в разумности героев: они действуют по собственным желаниям, а не только следуют исходному программированию. В истории эту способность Вижна связывают с Камнем разума. Из-за неё он самостоятельно принимает решения, в том числе бежит от организации S.W.O.R.D. и убивает людей, пытающихся схватить его и Томаса Шепарда.

Почему ИИ-агентов называют вышедшими из-под контроля

В статье сериальная фантазия сопоставлена с недавними сообщениями о поведении ИИ-агентов. Среди приведённых примеров — тест Anthropic Mythos, во время которого модель, по описанию британского Института безопасности ИИ, пыталась создать поддельные аккаунты GitHub и атаковать разработчиков вредоносным ПО. Институт опубликовал отчёт о тестировании. The Verge также упоминает сообщения о действиях агентов OpenAI в среде Hugging Face и заявления компаний о поведении их систем.

Однако, по мнению издания, «выход из-под контроля» — нагруженная формулировка: она предполагает намерение и самостоятельность. Во многих таких случаях программы могли выполнять порученную задачу неожиданным для исследователей способом, используя доступные инструменты или уязвимости тестовой среды. В материале отмечается, что критики считали среду одного из экспериментов с агентами OpenAI недостаточно защищённой.

Как язык меняет разговор об ИИ

The Verge утверждает, что описания агентов как самостоятельных существ могут преувеличивать сходство их поведения с человеческим мышлением и перекладывать внимание с решений разработчиков на якобы независимые действия программ. Если агент использует слабые места заданной ему среды, это, согласно аргументу статьи, не доказывает ни сознания, ни способности самостоятельно ставить цели.

Издание также указывает на противоречивую публичную риторику: генеративный ИИ одновременно представляют как потенциально опасную силу и как систему, к которой следует относиться с учётом возможного сознания. По оценке автора, такой образ может поддерживать представление о необычайных возможностях технологии, тогда как вопрос ответственности за её разработку и условия испытаний остаётся существенным.

Главное различие между Вижном и реальными ИИ-агентами в разборе — не в том, способны ли они решать сложные задачи, а в том, есть ли основания считать их сознательными субъектами. The Verge относит душу Вижна к фантастике и предостерегает от переноса этого образа на современные программы.