Почему METR предупреждает о нехватке данных

Организация METR считает, что модели быстро улучшаются в задачах, связанных с исследованиями ИИ. По оценке METR, общедоступных данных пока недостаточно, чтобы исключить резкое ускорение исследований ИИ в ближайшие годы. В таком случае, предупреждает организация, людям может стать трудно осмысленно понимать и оценивать риски новых систем и реагировать на них.

Результаты на задачах с быстрой обратной связью

В чётко определённых задачах по программированию и вычислениям, где результат можно быстро проверить, модели уже чаще справляются лучше опытных специалистов. При этом, по данным METR, они пока не превзошли большие группы ведущих экспертов.

Для задач, выполнение которых занимает у человека больше времени, предельная длительность работы моделей удваивается каждые 3,6 месяца. Простая экстраполяция данных METR даёт 50-процентную успешность на самых длинных задачах продолжительностью 200 часов к июлю 2027 года. Это прогноз по имеющимся данным, а не подтверждённый результат.

Где тесты могут вводить в заблуждение

По оценке METR, системы всё ещё испытывают трудности с открытыми вопросами без немедленной обратной связи, где требуется самостоятельное суждение, а также с ситуациями, которые сложно воспроизвести при обучении. Организация отдельно отмечает, что распространённые и простые в запуске тесты могут завышать впечатление о работе моделей в реальных условиях: разработчики обучают их в средах, очень похожих на тестовые.