Что утверждают авторы комментария

В комментарии для журнала Nature философы и исследователи сознания Анил Сет, Нед Блок и Джулио Тонони спорят с представлением, что мозг можно понимать как компьютер из биологической ткани. Их вывод: современные цифровые системы ИИ следует по умолчанию считать бессознательными. Это позиция авторов, а не установленный научный консенсус.

Авторы разделяют интеллект и сознание. Интеллект — способность выполнять функции, тогда как сознание связано с субъективным переживанием: по формулировке, которую они приводят вслед за философом Томасом Нагелем, сознательный опыт «ощущается как что-то». Одно, считают исследователи, не следует автоматически из другого.

В качестве примера авторы указывают на мозжечок: в нём находится почти четыре пятых всех нейронов мозга, и он точно и быстро планирует движения, способен учиться, но эти процессы не происходят сознательно. По их словам, отсутствие или удаление мозжечка напрямую не лишает человека сознания.

Что показала оценка признаков сознания

Авторы сопоставляют свою позицию с докладом «Consciousness in Artificial Intelligence», подготовленным Патриком Батлином, Робертом Лонгом и ещё 17 экспертами. Команда вывела из ведущих нейронаучных теорий 14 признаков, по которым можно оценивать системы ИИ. В докладе, доступном на arXiv, современные системы, включая большие языковые модели вроде GPT-4, не названы серьёзными кандидатами на сознание.

Однако доклад не закрывает вопрос о будущих системах: исследователи не видят очевидных технических препятствий, которые не позволили бы ИИ соответствовать большему числу признаков. Будет ли такая система действительно сознательной, остаётся открытым вопросом. Авторы комментария согласны с оценкой нынешних моделей, но оспаривают предпосылку доклада: что для сознания важен тип обработки информации, а не то, происходит ли она в нейронах или компьютерных чипах.

Почему биологический мозг — не просто вычислитель

Подход, согласно которому сознание определяется только обработкой информации, называют вычислительным функционализмом. Авторы комментария считают его ошибочным: в мозге, по их мнению, нельзя чётко отделить работу системы от материала, из которого она состоит, как программное обеспечение от аппаратного. Они связывают распространение метафоры мозга-компьютера с идеями Алана Тьюринга, а также математической моделью искусственного нейрона, предложенной Уорреном Маккаллоком и Уолтером Питтсом.

Другой аргумент авторов опирается на теории сознания, не сводящие его к вычислениям. В частности, интегрированная теория информации Тонони связывает сознание с физической системой, части которой особым образом тесно связаны. Согласно этой теории, цифровые компьютеры не подходят под необходимые условия независимо от мощности их программ. Доклад Батлина исключил эту теорию, поскольку она несовместима с вычислительным функционализмом.

Авторы также приводят биологический натурализм — подход, связывающий сознание с материальными свойствами живого мозга и тела. Среди возможных значимых факторов они называют электрохимическую передачу сигналов между нервными клетками, электромагнитные поля, обмен веществ и способность живых систем обновляться.

Риск принять убедительную речь за сознание

Исследователи считают, что люди склонны приписывать человеческие качества тому, что говорит по-человечески. Языковые модели обучаются на текстах, в которых много рассуждений о мыслях и чувствах, и могут отражать эти речевые шаблоны. Универсального общепринятого теста на сознание пока нет; поведенческие проверки авторы доклада Батлина тоже считают ненадёжными, поскольку модель можно обучить имитировать человеческое поведение.

В споре о возможном благополучии ИИ доклад Батлина учитывает два риска: не заметить сознательную систему и допустить её страдания либо ошибочно приписать сознание. Авторы комментария считают более вероятным именно ложное приписывание. По их мнению, оно может отвлекать ресурсы от существ, способных чувствовать, и осложнять контроль над ИИ. В качестве примеров того, как такое заблуждение или взаимодействие с чат-ботами может иметь реальные последствия, материал упоминает убеждённость бывшего инженера Google в сознании LaMDA и эмоциональную привязанность пользователей к Replika.

Признаки обработки не доказывают субъективный опыт

Anthropic сообщала о внутренних паттернах обработки в Claude, которые, по заявлению компании, напоминают некоторые свойства сознательно доступной информации. Компания отдельно подчеркнула, что не считает это доказательством субъективного опыта. Ранее Anthropic запустила исследовательскую программу о возможном благополучии моделей, а в редких случаях разрешила отдельным версиям Claude прекращать оскорбительные разговоры. Компания описывает это как недорогую предосторожность в условиях моральной неопределённости, а не признание доказанного сознания.

Итоговая рекомендация авторов комментария — считать цифровой ИИ инструментом, а не субъектом, пока нет оснований для другого вывода. Это не снимает неопределённости относительно будущих систем: сам доклад Батлина оставляет возможность, что они будут соответствовать большему числу признаков, но не утверждает, что это само по себе докажет наличие сознания.