Модель напрямую вызывает библиотеку навыков

HomeBody — система исследователей Stanford и Caltech, которая позволила роботу Unitree G1 ориентироваться в незнакомой кухне, наводить порядок и доставать предметы из ящиков. В отличие от типичной схемы с отдельным заранее обученным контроллером, сменяемая vision-language model вызывает библиотеку навыков для захвата предметов, навигации и открытия ящиков.

Сначала робот исследует комнату и строит цифровую копию в Nvidia Isaac Sim. Объекты и их расположение сохраняются в пространственной памяти, поэтому система может найти предмет, даже если он вышел из поля зрения. Для задачи вроде уборки языковая модель составляет план действий и пытается исправиться при ошибках.

Демонстрация пока ограничена лабораторными условиями

Авторы отмечают задержки GPT-6 Astra, перегрев сервоприводов пальцев и высокие затраты на вычисления. Результат показывает работу системы в описанном эксперименте, но не доказывает готовность робота к автономному использованию в обычном доме.

Исходный код проекта опубликован на GitHub.