Модель предсказывает изменения сцены и движения робота

Runway выпустила Praxis-1 — модель искусственного интеллекта для управления роботами — с открытыми весами и исходным кодом. Компания впервые представила её в конце сентября, но тогда доступ получили только отдельные партнёры. Материалы опубликованы по лицензии Apache 2.0, допускающей коммерческое использование.

Praxis-1 получает изображения с камер, текстовые инструкции и сведения о положении робота. Модель прогнозирует, как изменится окружающая среда, и рассчитывает движения; по мере поступления новых кадров она корректирует управление. В основе — видеомодель, дообученная на роликах с действиями людей и данных роботов. По замыслу Runway, такой подход может снизить потребность в дорогостоящих специализированных наборах данных, но это ещё предстоит подтвердить сравнением с другими моделями.

Для адаптации к манипулятору Franka Runway использовала около 277 часов записей из открытого исследовательского набора DROID. Для двухручного робота компания применила от 1 400 до 2 600 часов обучающих материалов. В исследовательском отчёте Runway также описаны более ранние этапы обучения с данными DROID и других роботизированных систем. Нужно ли Praxis-1 в целом меньше роботизированных данных, чем моделям без предварительного обучения на обычных видео, пока неясно.

Результаты тестов Runway пока не проверены независимо

В симуляционном тесте Nvidia RoboLab-120 Praxis-1 показала успешность 46,2% на 120 задачах сортировки, захвата и укладки предметов. У FLUX 3 Action, другой модели класса World Action Model, результат составил 42,9% при тех же условиях. Praxis-1 заняла первое место в этой категории и пятое в общем рейтинге — после двух ИИ-агентов и двух роботов с другой архитектурой. Все проверки проводила сама Runway, и результаты пока не прошли независимую проверку.

На манипуляторе Franka обе модели выполняли десять одинаковых заданий по десять раз. Praxis-1 справилась 88 раз, FLUX 3 Action — 80. В отдельном тесте переноса на ранее незнакомую мобильную платформу с захватом модель дообучили примерно на 95 часах записей. По данным Runway, в симуляции она достигла средней успешности 80% на четырёх типах задач; RT-1 получила 52,4% на том же тесте.

Для новых роботов требуется дообучение

Базовую модель нужно дополнительно обучать для работы с новой роботизированной системой; Runway также опубликовала уже адаптированные варианты. Скачать Praxis-1 можно на Hugging Face после регистрации и согласия с условиями доступа, а исходный код размещён на GitHub. Стандартной версии требуется видеокарта с 80 ГБ памяти. По оценке Runway, сжатая версия должна помещаться на RTX 5090 с 32 ГБ видеопамяти, однако пиковое потребление памяти ещё не измерено.

В отчёте Runway также отмечает, что модель может путать похожие предметы и испытывать трудности с расплывчатыми инструкциями. Для длинных задач шаги нужно задавать отдельно: Praxis-1 пока не умеет надёжно планировать сложные последовательности действий самостоятельно.