Как GR00T 2 переносит движения на робота

Nvidia представила GR00T 2 — базовую модель для обучения роботов, которая должна сократить необходимость в длительном дистанционном управлении ими. Компания описала систему в новом исследовательском отчёте.

В отличие от предшественника GR00T 1, модель не преобразует напрямую изображение с камеры и языковую команду в движения. Nvidia называет подход world-action model: GR00T 2 одновременно рассчитывает следующее действие и предсказывает короткое видео ближайшего будущего — например, как изменится изображение, когда робот поднимет предмет. Подробности компания изложила в исследовательском отчёте о GR00T 2.

Для обучения использовали кластер более чем с тысячей чипов GB300 и около 400 000 часов видео, на которых люди выполняют разные задачи с камерами на голове. Чтобы показать роботу новую задачу, человеку достаточно продемонстрировать движения с помощью перчаток с датчиками, специальных захватов для рук или экзоскелета для пальцев. Во время обучения модель объединяет эти записи с данными о движениях целевого робота, а затем предсказывает вместо человеческой руки роботизированную и выводит соответствующие команды управления.

Результаты испытаний различались по задачам

В лабораторных тестах робот с пятипалыми руками зажигал спичку, резал банан и перекладывал посылки на конвейер без предварительного дистанционного обучения именно этим задачам. Успешность зависела от задания и составляла от 10 до 80%. По данным исследователей, по одному видео движения человеческой руки система также научилась забивать гвозди в компьютерной симуляции.

Для 50 выбранных задач, в которых модель уже показывала хорошие результаты после нескольких примеров, менее трёх минут обычного обучения повысили успешность с 40 до 95%. Для длительных сборочных работ Nvidia сочетала GR00T 2 с языковой моделью более высокого уровня: та разбивает работу на шаги и запускает вспомогательные процедуры при ошибках. В испытаниях со сборкой игрушечных моделей такой комплекс справился как минимум в 97% попыток; без корректирующей языковой модели и дополнительной настройки сборка игрушечной машины удалась в 23 случаях из 100.

Ограничения и версия для двуногих роботов

Для двуногих роботов Nvidia разработала облегчённую GR00T 2 Turbo, которая обрабатывает меньше деталей изображения и запускается на бортовом компьютере Jetson Thor. В испытаниях робот набирал попкорн, убирал со стола и вытирал жидкость полотенцем, зажатым под ногой. Последняя задача удавалась менее чем в половине попыток.

Исследователи отмечают, что модели пока недостаёт прямой обработки тактильных данных, и она может пропускать малозаметные ошибки, например винт, закрученный не до конца. Языковая модель-планировщик также замедляет работу: при сортировке мусора робот простаивал около трети общего времени, ожидая следующего вычисления планировщика в среднем более семи секунд.