Модель должна укладываться в ритм разговора

Runway опубликовала описание инфраструктуры, которая обслуживает Characters — видеоперсонажа для разговора, создаваемого из одного изображения. В основе продукта, по данным компании, лежит авторегрессионный трансформер диффузии видео примерно на 57 млрд параметров.

При частоте 24 кадра в секунду система должна выдавать фрагмент из четырёх кадров размером 704 × 1088 каждые 166,7 мс. Если генерация запаздывает, задерживаются и изображение, и связанный с ним звук. Подробности об устройстве системы Runway изложила в опубликованной исследовательской работе.

В материале компания описывает Characters и связывает достигнутую скорость с оптимизациями инференса и обслуживания модели. Текст исследования посвящён работе трансформера в режиме реального времени.

Четыре H100 вместо восьми на сессию

При запуске Characters использовал восемь ускорителей H100 на сессию. На четырёх H100 шаг диффузии занимал 240,9 мс — больше допустимых 166,7 мс. По измерениям Runway, оптимизация обработки кэша и других операций сократила шаг до 159,3 мс, что соответствует устойчивым 24,5 кадра в секунду. Объединение вычислений с обменом данными снизило время до 147,4 мс.

В исходной реализации 69,7 мс на шаг уходило на обслуживание кэша внимания: система повторно обрабатывала в основном неизменившиеся данные. Runway перенесла часть этой работы на момент записи новых кадров и стала хранить кэш в виде кольцевого буфера. В результате обслуживание кэша, по данным компании, занимало 6,2 мс на шаг.

При параллельных вычислениях объединённое ядро сводит результаты умножения матриц и операцию all-reduce. Для производственной конфигурации Runway приводит время такого вызова 153,8 мкс против 208,2 мкс без объединения и сообщает, что оно скрывает 54–68% времени обмена.

Сравнение пикселей не подходит для проверки

Поскольку модель генерирует видео авторегрессионно, даже небольшие численные различия со временем уводят повторные запуски по разным траекториям. Поэтому Runway оценивала изменения по синхронизации губ, а не по прямому сравнению пикселей. В набор вошли 53 клипа, созданных на основе 50 синтетических изображений; оценки SyncNet были получены для 51 клипа.

Компания сообщает, что средние различия оценок синхронизации между вариантами не превышали 0,03 и были сопоставимы с разбросом повторных запусков. Четыре десятиминутные сессии с чередованием речи и слушания показали похожую картину. Runway подчёркивает, что эти результаты ограничивают возможные различия, но не доказывают эквивалентность: SyncNet хуже оценивает стилизованных персонажей, а четырёх длительных сессий недостаточно, чтобы исключить медленное изменение качества.

После сбоя ядро вернули с ограничением по форме данных

Объединённое ядро поступило в производство в августе 2026 года. После обновления PyTorch и NCCL рабочие процессы начали испытывать нехватку памяти: тесты с фиксированными запросами не выявляли, что буферы накапливаются для разных длин первого прохода. Runway изменила схему так, чтобы объединённое ядро использовалось только для установившейся формы данных, а первый проход выполнялся через NCCL.

После 15-часового тестового запуска ядро снова включили 8 октября 2026 года. Компания сообщает, что в следующие 15 дней доля сессий продолжительностью от секунды со средней скоростью не выше 24 кадров в секунду составила 0,7%; за пять предшествовавших недель этот показатель по неделям составлял 7–23%. В отдельной сводке за семь недель Runway указывает, что в 99,5% подходящих сессий рабочий процесс в среднем превышал 23,5 кадра в секунду.