Три модели для разметки и оценки действий

Nvidia открыла Flora — систему для подготовки обучающих данных по видео роботов. По описанию компании, она размечает временные отрезки и действия, оценивает ход выполнения задачи и определяет, достиг ли робот цели. Модели доступны на Hugging Face, а техническое описание опубликовано на сайте лаборатории GEAR.

Flora состоит из трёх дообученных моделей Qwen3.5. Модель на 9 млрд параметров делит видео на фрагменты с действиями, а модель на 27 млрд описывает их с учётом того, что происходило до и после. Ещё одна модель на 27 млрд параметров, Flora-Rewarder, оценивает успех эпизода по шкале от 1 до 5, помечает каждый полусекундный шаг как нормальный, неоптимальный или неудачный и выставляет оценки по заданным критериям. Nvidia сообщает, что использует систему при обучении моделей GR00T: она размечает до 200 тысяч часов видео в день на 512 GPU GB300. Описание исследованияи коллекция моделей Flora на Hugging Face.

Стоимость рассчитана по цене аренды GPU

В тесте на 50 видео Flora получила 57,1% качества разметки, а GPT-6 Astra — 53,7%. Nvidia оценивает стоимость обработки часа видео системой в 72 цента, тогда как для Astra приводит $88,49. Claude Opus 5 в том же тесте показала значительно худший результат и обходилась примерно в $42 за час.

Эти цифры не являются замерами производственных расходов: Nvidia рассчитала стоимость Flora, исходя из предполагаемой аренды GPU за $10 в час. Поэтому сравнение отражает оценку компании, а не гарантированную цену обработки.

Результаты зависят от типа проверки

На открытом WGO-Bench Flora лучше определяла границы действий, но уступила Astra по общему результату, а Gemini 3.8 Flash — в точности описаний. В тесте Nvidia DenseCaptionBench Flora лидировала по всем метрикам на видео с участием людей, но на роликах роботов заняла второе место после Astra. Исследователи также отмечают методологическое ограничение: Astra оценивала описания и одновременно сама участвовала в сравнении.

В RoboRewardBench частота ошибок Flora была на 27,8% ниже, чем у Astra. Flora выявляла 53,3% неудачных шагов внутри эпизода; у конкурентов этот показатель не превышал 11,7%, а Astra не выявила ни одного такого шага. Однако Flora ошибочно отмечала как проблемные около 11% нормальных шагов, а Astra лучше справлялась с оценкой по критериям и ранжированием траекторий.

В примере с множеством коротких движений Flora распознала 34 из 37 действий, а Astra — четыре. При этом Flora иногда дробила длинные действия на слишком мелкие этапы и ошибалась в описаниях: например, приняла вытирание тарелки тканью за складывание салфетки.