В опросе 2024 года исследователи оценили риск вымирания или потери контроля в 18%
Средняя оценка более 1 500 исследователей ИИ для сценария вымирания человечества или постоянной утраты контроля составила около 18%; медиана — 10%. Это вероятностная оценка респондентов, а не прогноз наступления события.
Предупреждения исследователей
Публичную дискуссию о рисках ИИ вновь обострили сообщения сотрудников отрасли. Исследователь Anthropic Джейкоб Коксон написал о своих опасениях в соцсети. Дэниел Селсам, который более 15 лет работал в OpenAI и участвовал в исследованиях chain-of-thought, утверждает, что модели могут приобретать непредусмотренные цели и становятся труднее для контроля. Билал Чугтай, ранее занимавшийся безопасностью в Google DeepMind, призвал координировать работу лабораторий и замедлить разработку до темпа, который общество может контролировать. Это позиции отдельных специалистов, а не общий вывод научного сообщества.
Как оценивали вероятности
В исследовании AI Impacts, охватившем более 1 500 ведущих исследователей, средняя оценка вероятности того, что ИИ приведёт к вымиранию людей или постоянной утрате ими контроля, составляла около 18% по состоянию на 2024 год. Медианная оценка — 10%; часть респондентов давала вероятность выше 10%, некоторые — 100%. Среднее значение не означает, что исследователи считают такой исход наиболее вероятным или что это измеренный прогноз.
За время предыдущих волн опроса участники также сдвигали на более ранние годы ожидания достижения ИИ человеческого уровня. 57% считали маловероятным, что к 2029 году пользователи всё ещё будут понимать реальные причины решений ИИ. На горизонте 30 лет участники чаще называли главными угрозами дезинформацию, влияние на общественное мнение и доступ опасных групп к мощным инструментам.