METR: возможности ИИ растут быстрее, чем их удаётся надёжно оценивать
По оценке METR, модели уже часто превосходят опытных специалистов в чётко заданных задачах с быстрой обратной связью. Но доступных данных недостаточно, чтобы исключить резкое ускорение исследований ИИ, а привычные тесты могут завышать результаты.

Почему METR предупреждает о нехватке данных
Организация METR считает, что модели быстро улучшаются в задачах, связанных с исследованиями ИИ. По оценке METR, общедоступных данных пока недостаточно, чтобы исключить резкое ускорение исследований ИИ в ближайшие годы. В таком случае, предупреждает организация, людям может стать трудно осмысленно понимать и оценивать риски новых систем и реагировать на них.
Результаты на задачах с быстрой обратной связью
В чётко определённых задачах по программированию и вычислениям, где результат можно быстро проверить, модели уже чаще справляются лучше опытных специалистов. При этом, по данным METR, они пока не превзошли большие группы ведущих экспертов.
Для задач, выполнение которых занимает у человека больше времени, предельная длительность работы моделей удваивается каждые 3,6 месяца. Простая экстраполяция данных METR даёт 50-процентную успешность на самых длинных задачах продолжительностью 200 часов к июлю 2027 года. Это прогноз по имеющимся данным, а не подтверждённый результат.
Где тесты могут вводить в заблуждение
По оценке METR, системы всё ещё испытывают трудности с открытыми вопросами без немедленной обратной связи, где требуется самостоятельное суждение, а также с ситуациями, которые сложно воспроизвести при обучении. Организация отдельно отмечает, что распространённые и простые в запуске тесты могут завышать впечатление о работе моделей в реальных условиях: разработчики обучают их в средах, очень похожих на тестовые.
Продолжить чтение
В ленте материалов: 1