AHM назвала публикацию демонстрацией силы

Группа AHM выступила против того, как OpenAI представила математические результаты: компания выпустила более 700 файлов за один раз. В заявлении, опубликованном лауреатом Филдсовской премии Терренсом Тао, который возглавляет группу, сказано, что математики не просили проводить эту работу, а публикация стала «не демонстрацией научной работы, а демонстрацией силы».

AHM утверждает, что выпуск противоречит ключевому тезису рекомендаций консультативной группы AGMAI: сложные математические задачи не следует проверять на внутренних моделях. В заявлении также упоминаются многочисленные иски о нарушении авторских прав к OpenAI. Группа предполагает, не утверждая прямо, что результаты могли зависеть от обучения на трудах математиков.

Тао опубликовал заявление на своём блоге; в нём AHM критикует масштаб и способ публикации.

Учёные опасаются, что результаты некому проверять

Терренс Тао считает, что математика должна ценить не только решение задач, но и объяснение результатов, сотрудничество и появление новых направлений исследований. По его словам, теперь ИИ способен автономно решать задачи, тогда как люди разбирают полученные доказательства. Некоторые пользователи, публикующие решения, не связаны с областью и не могут достаточно уверенно объяснить работу или ответить на вопросы о ней.

Скотт Ааронсон привёл пример гипотезы уникальных игр — открытой задачи, которой его жена Дана Мошковиц посвятила карьеру. В опубликованном документе было заявлено доказательство, однако, по её оценке, текст трудно читать, а ссылки на предыдущие работы не объясняют, почему они применимы. Ааронсон также сообщил, что в ходе экспериментов проверили около 8 000 задач, успех составил примерно 5%, а средний объём вычислений на задачу — три часа на уровне GPT-Pro. Эти данные он приводит со ссылкой на неназванные источники; применённой моделью, предположительно, была текущая внутренняя модель OpenAI.

Ааронсон противопоставляет массовую публикацию черновиков подходу Anthropic: компания сотрудничала с двумя исследователями алгоритмов, которые подготовили понятную людям версию доказательства после того, как ИИ-модель подсказала ключевую идею. Однако, отмечает он, такая схема оставляет частной компании выбор исследователей, представляющих результат.

Ааронсон подробно описал свою реакцию на выпуск и проблемы с доказательством гипотезы уникальных игр в своём блоге.

Математики разошлись во мнениях о бойкоте

Комментаторы блога Тао поддержали бойкот OpenAI и предложили исследователям отказаться от её продуктов. Среди других предложений — лучше защищать серверы препринтов, включая arXiv, от массового сбора материалов для обучения. Оппоненты считают бойкот нереалистичным и полагают, что публичные результаты лучше закрытых. Они также задаются вопросом, можно ли считать задачу решённой, если доказательство не понимают ни авторы, ни другие математики.

AGMAI занимает более дипломатичную позицию: группа называет публикацию первым шагом, после которого ещё предстоит осмыслить математическое содержание результатов. При этом она предупреждает, что будущее науки не должно сводиться к разбору задач, выбранных ИИ-компаниями для демонстрации возможностей своих систем. Тао предлагает для эпохи «Math 2.0» иначе оценивать прогресс, ставя в центр объяснение, сообщества исследователей и новые направления работы.

Позиция AGMAI по выпуску математических материалов опубликована на сайте группы.