ИИ помогает писать код, но решения остаются за людьми

Инженер Google DeepMind Хейдн Белфилд заявил, что команда не наблюдала измеримого ускорения исследований в области ИИ, вызванного самим ИИ. При этом автоматизация уже заметно влияет на разработку: по словам Белфилда, ИИ пишет более 75% производственного кода.

Около 88% изменений кода всё ещё требуют человеческого контроля или проверки, а перед отправкой каждое изменение проверяет человек. Доля изменений, полностью порученных ИИ, выросла с 7,5% до 11,9%; период, за который произошло изменение, в сообщении не указан.

В 1 389 внутренних запусках агента Argon вероятность успешного выполнения без участия человека резко снижалась по мере роста сложности задачи. Белфилд отметил, что люди по-прежнему необходимы для творческих исследований, разработки новых экспериментов, диагностики тонких нестабильностей обучения и долгосрочного планирования. С результатами о том, как агенты участвуют в разработке моделей, можно ознакомиться в связанном исследовании. Опрос 12 старших исследователей DeepMind, по данным команды, показал схожую картину: автоматизация лучше справляется с чётко определёнными и проверяемыми задачами, чем с открытыми научными идеями. Белфилд также изложил свои выводы в публикации в X.

На внутреннем бенчмарке RE-Bench, включающем 74 реалистичные задачи по инженерии машинного обучения, Argon решает примерно половину. Это выше результата Gemini 3.7 Flash — 27%, однако, по оценке команды, до уровня, необходимого для почти полной автоматизации, ещё далеко.

Индекс возможностей не показывает ускорения

Чтобы систематически отслеживать прогресс, команда создала General Capability Index (GCI), охватывающий 123 модели и 92 бенчмарка. По оценке авторов, возможности моделей Gemini растут примерно на 0,1 пункта GCI в месяц, но значимого изменения темпа роста нет.

Немного более высокий результат Gemini 4 Argon относительно общей тенденции команда объясняет увеличением вычислительных ресурсов и организационными вложениями, а не ускорением исследований за счёт ИИ. Риск автоматизации исследований с помощью ИИ команда пока оценивает как низкий и продолжает создавать инструменты для отслеживания возможных признаков ускорения.

Такую оценку разделяют не все. Более 20 исследователей, включая Джеффри Хинтона, Йошуа Бенжио и Джека Пачоцкого из OpenAI, предупреждали в научной работе о возможном «взрыве интеллекта»: по их мнению, системы ИИ могут автоматизировать исследования и разработку ИИ в течение нескольких лет. Это предупреждение изложено в публикации о рисках автоматизации исследований.