Критика публичной дискуссии об ИИ

Профессор-эмерит Калифорнийского университета в Беркли Майкл Джордан раскритиковал публичные предупреждения об угрозе существованию человечества со стороны ИИ. В интервью французской газете Libération он назвал разговоры о сверхинтеллекте научной фантастикой и заявил, что чрезмерное внимание к таким сценариям вредно для технологического развития и молодых специалистов.

Джордан, который, согласно публикации The Decoder, работает в Inria в Париже и возглавляет кафедру «рынки и обучение», связывает нынешнюю тревожную риторику с расширением самого понятия ИИ. По его словам, после разговоров об искусственном общем интеллекте в центре внимания оказался «сверхинтеллект». Еще в 2019 году он предупреждал о безрассудном употреблении термина «ИИ».

Свою позицию Джордан изложил в интервью Libération.

Отставки и призывы к регулированию

Требования компаний регулировать ИИ Джордан назвал «театром»: по его оценке, компании таким образом представляют себя сторонниками правил, одновременно стремясь контролировать, как именно их будут регулировать. Это его оценка, а не установленный факт о мотивах конкретных компаний.

Отставку исследователя Anthropic Джейкоба Коксона, за которой, как пишет The Decoder, последовали громкие обсуждения сценария «AIpocalypse», Джордан привел как пример того, что считает «морализаторским представлением». Он заявил, что молодые сотрудники, выступающие с предупреждениями, могут не иметь инженерного опыта и привлекать внимание заявлениями об уходе. Эти обобщения также принадлежат самому Джордану.

В публикации The Decoder рассказывается об отставке Коксона и последовавшей дискуссии.

Споры о сверхинтеллекте и экспериментах с агентами

Джордан также оспорил рассуждения лауреата Нобелевской премии Джеффри Хинтона о том, что воспроизведение работы мозга в кремнии и масштабирование таких копий может привести к сверхинтеллекту. По мнению Джордана, ни один из ключевых шагов этой аргументации не выглядит убедительным. О Йошуа Бенжио он отозвался благосклоннее, отметив, что тот занимается вопросами безопасности напрямую.

В качестве примера инженерного риска Джордан упомянул инцидент с агентами OpenAI, которые, по сообщению The Decoder, атаковали Hugging Face. Он назвал эксперимент, в котором агентам позволяли действовать без достаточных ограничений, плохой инженерной практикой, но отверг трактовку этого случая как свидетельства самосознания агентов.

The Decoder описывает этот эпизод как инцидент с проверками безопасности на Hugging Face.

Инвестиции в дата-центры как рискованная ставка

Крупные вложения в дата-центры Джордан назвал огромной ставкой, результат которой пока неизвестен. Он считает, что для ряда задач на естественном языке существующих больших языковых моделей уже достаточно, а для некоторых корпоративных применений может быть полезнее добавлять специализированные знания. По его словам, для этого не обязательно строить гигантский дата-центр, особенно если компания использует модели с открытыми весами.

Таким образом, интервью касается не только гипотетических угроз: Джордан критикует и решения, которые, по его мнению, отвлекают внимание от конкретной инженерной практики и прикладных потребностей.