TwelveLabs выпустила Pegasus 1.6 для разметки видео от первого лица
Модель сегментирует записи действий и формирует описания для подготовки данных обучения роботов. Однако преобразовать эти наблюдения в команды управления роботом разработчикам предстоит самостоятельно.
Модель обучили работать с видео от первого лица
TwelveLabs выпустила Pegasus 1.6 — модель для анализа видео, в том числе записанного с точки зрения человека или машины, выполняющих задачу. Компания ориентирует обновление на разработчиков робототехники и поставщиков данных, которым нужно превращать записи физических действий в размеченный материал для обучения.
Pegasus делит видео на временные сегменты и возвращает структурированные описания. В версии 1.6 TwelveLabs добавила специализацию для эгоцентрических записей: компания признаёт, что предыдущие версии хуже справлялись с таким видео. Пользователи могут задавать нужные категории и поля, а модель организует материал в соответствии с ними.
В описании релиза TwelveLabs также сообщает о встроенном анализе изображений и улучшенном распознавании людей и объектов. Статичные изображения можно обрабатывать через тот же API, что и видео: подробности о Pegasus 1.6.
Что можно извлечь из записей рабочих процессов
Камера, закреплённая на работнике, может записать, какой рукой он берёт деталь, когда тянется за инструментом и на каком этапе выполняет действие. Такая съёмка позволяет собирать примеры без необходимости каждый раз управлять роботом, но сами записи нужно интерпретировать: определить действия, объекты и временные границы.
TwelveLabs описывает пять направлений применения: разбиение записей на размеченные действия, создание подробных описаний, проверка качества видео, поиск необычных событий и дубликатов, а также выявление потенциально чувствительных материалов. Контроль качества может учитывать закрытый обзор, нестабильную камеру и неясные действия. Пример с выделением этапов сборки детали — иллюстрация возможного процесса, а не раскрытое внедрение у клиента.
В основе этой задачи — возможности Pegasus 1.5 по сегментации и описанию видео, которые компания ранее представляла как основу для робототехнической разметки.
Разметка видео не заменяет системы управления
Pegasus может описывать движения конечностей и приблизительно представлять траектории, но не предоставляет всей информации, необходимой роботу для надёжного выполнения действий. Разработчикам по-прежнему нужно учитывать давление и тактильные данные, а также связывать наблюдения из видео с датчиками и системами управления.
В технических материалах TwelveLabs упоминаются внутренние проверки распознавания действий, определения действующей руки и понимания последовательностей. Числовых результатов и воспроизводимого сравнения с конкурентами компания не приводит; в рассмотренных материалах также нет названного робототехнического клиента, результаты которого можно было бы проверить независимо.
Сооснователь и генеральный директор TwelveLabs Дже Ли рассказал VentureBeat, что один запуск обработал около 17 лет видео от первого лица примерно за 18 часов без сбоев обработки видео. Условия теста и вычислительные ресурсы не указаны, поэтому это заявление о производительности нельзя считать воспроизводимым тестом скорости или точности.
Стоимость зависит и от объёма текстовой разметки
По опубликованным TwelveLabs тарифам обработка видео стоит $1,75 за час, входные данные изображений — $3 за миллион токенов, а выходные токены — $15 за миллион. Цена выходных токенов для Pegasus 1.6 вдвое выше прежней ставки Pegasus 1.5 в $7,50 за миллион; увеличение не означает удвоения всего счёта, поскольку ставка обработки видео осталась прежней. Для корпоративных клиентов предусмотрены индивидуальные условия.
В расчёте стоимости важно учитывать, что в запросе Segment каждый набор определений сегментов тарифицируется отдельно: при разметке нескольких категорий оплачиваемая длительность умножается на их число. Поэтому предприятиям, рассматривающим модель, имеет смысл начинать с ограниченного рабочего процесса и оценивать не только скорость обработки, но и стоимость пригодного для обучения примера после проверки и исправлений.
Актуальные тарифы опубликованы на странице цен TwelveLabs.
TwelveLabs debuts Pegasus 1.6 to improve robotics training data from first-person video