Математик основал институт, который ищет формальные доказательства безопасности ИИ
MAISI планирует начать работу в январе 2027 года с командой из 10–30 математиков. Институт хочет формализовать свойства безопасных систем и взаимодействия агентов, хотя авторы проекта признают, что сегодня даже нет строгого определения безопасности ИИ.
Безопасность предлагают изучать математическими методами
Канадский математик Джейкоб Цимерман, недавно получивший медаль Филдса, объявил о создании независимого Mathematical A.I. Safety Institute (MAISI) в районе залива Сан-Франциско. По данным The New York Times, институт намерен начать работу в январе 2027 года и собрать от десяти до тридцати математиков. Сам Цимерман также присоединяется к команде безопасности OpenAI.
Идея — применять к ИИ более строгие методы доказательства, похожие на те, что используются в криптографии. Но безопасную криптосистему можно проверить против множества атак, тогда как безопасность ИИ проявляется в практическом поведении. По словам института, даже теоретического согласованного определения «безопасности» пока нет.
Что институт хочет научиться доказывать
MAISI ставит цель формализовать, что система действует ответственно и выдаёт корректные результаты, несколько взаимодействующих агентов не приводят к нежелательному исходу, а системы устойчивы к пока неизвестным уязвимостям. Один из возможных инструментов — доказательства с нулевым разглашением: они позволяют подтвердить свойство системы, не раскрывая коммерческие секреты разработчика.