Ассистент должен замечать, когда нужна помощь

Исследователи Google, Stanford, Oxford и нескольких университетов США разработали StreamVibe — видеоассистента для задач вроде готовки или сборки мебели. Он должен не только выполнять прямые команды, но и понимать расплывчатые просьбы, например помочь, если пользователь столкнётся с трудностями.

В описании исследования команда отмечает, что существующие видеоассистенты хуже справляются с неявными намерениями, отслеживанием уже выполненных шагов и изменением запроса по ходу задачи.

Иллюстрация видеоассистента StreamVibe, который наблюдает за выполнением бытовой задачи
StreamVibe задумана как ассистент, который вмешивается по необходимости.

Как обучали и проверяли StreamVibe-VL

Для проверки команда собрала около 4 100 примеров на основе более чем 183 часов записей повседневных ситуаций и работы с программами. Gemini 2.5 Flash предлагала, когда стоит помочь и что сказать; каждый пример должны были единогласно одобрить четыре оценщика. В тест вошли ситуации с чёткими инструкциями, расплывчатыми целями и меняющимися просьбами.

Затем исследователи обучили StreamVibe-VL — модель, предположительно основанную на Alibaba Qwen3.5-9B. Она каждую секунду выбирает, говорить или промолчать. Отдельный этап обучения с подкреплением должен сделать её менее склонной к лишним перебиваниям. Система памяти отслеживает незавершённые просьбы и выполненные шаги, но решение о том, когда и что сказать, принимает модель.

На длинных видео модели теряют контекст

По оценке исследователей, StreamVibe-VL улучшила время и качество ответов на 10,7% относительно других моделей. Система памяти, по их данным, дополнительно повышает проактивность на 12,3% и сокращает число ненужных перебиваний. StreamVibe-VL в целом обошла базовую и другие открытые модели, однако Gemini 3.8 Flash получила более высокие результаты в нескольких тестах.

При непрерывной обработке видео все проверенные системы заметно хуже выбирали момент для ответа: ошибки накапливались, а одна из метрик содержания ответов, по данным статьи, падала до 61,5% при опоре на собственную историю модели. На роликах длиннее пяти минут моделям особенно трудно вовремя реагировать и учитывать изменившиеся инструкции. Исследователи предупреждают, что реальные ситуации могут быть сложнее тестовых, и планируют изучить, как со временем взаимодействуют предпочтения пользователя и окружающая обстановка.