42 математических феллоу Королевского общества предупреждают о рисках ИИ
Авторы открытого письма призывают британскую Академию наук предупредить правительство и общество о возможных последствиях быстрого роста возможностей моделей. Их аргумент опирается на риски в кибербезопасности, оружии, биологии и дезинформации.
Письмо призывает не ждать очевидных последствий
Сорок два математика, связанные с Королевским обществом Великобритании, направили открытое письмо его президенту. Они призывают Академию наук обратиться к правительству и СМИ с предупреждением о потенциальных рисках продвинутого ИИ. Среди подписантов — лауреаты медали Филдса Мартин Хайрер, Петер Шольце и Венделин Вернер; The Decoder отмечает, что авторы не работают в ИИ-компаниях.
В письме приводится быстрый прогресс моделей: за три месяца OpenAI и Anthropic решили открытые исследовательские задачи, а авторы оценивают работу моделей в некоторых областях как сопоставимую с сильнейшими математиками. Они считают значительной вероятность появления сверхчеловеческих способностей за похожий срок, но не указывают точной даты или механизма такого перехода.
Опасения выходят за пределы самой математики
Авторы считают важным распространить оценку темпов прогресса на кибербезопасность, управление автономным оружием, разработку биологических и химических агентов, а также адресную дезинформацию. По их мнению, предупреждения о риске существования человечества, которые оценивают некоторые представители лабораторий выше 10%, нельзя просто списывать на шумиху. Это оценка подписантов письма и ссылка на высказывания отдельных лидеров отрасли, не установленная вероятность события.
Позиция письма состоит в том, что к моменту, когда риск станет очевиден широкой публике, действовать может быть поздно. Это призыв к раннему обсуждению и оценке, а не доказательство неизбежности катастрофы.