Новая модель распознавания речи

xAI представила Grok Voice Transcribe 2.0. По тестам компании на реальных записях, версия вдвое точнее Grok Voice Transcribe 1.0 при той же цене. В Artificial Analysis она заняла первое место среди 32 потоковых моделей.

Модель основана на Grok Voice, которая, по данным xAI, обрабатывает десятки тысяч звонков поддержки в день и расшифровывает миллионы часов видео. Обучение включало шумные многоязычные аудиозаписи и несколько говорящих.

Область применения

xAI сообщает об использовании распознавания в голосовых агентах, включая ассистента Grok в автомобилях Tesla. Это не гарантирует одинаковой точности при любых языках и условиях записи.

Двукратное улучшение — оценка разработчика; рейтинг Artificial Analysis основан на отдельном тестовом наборе. Абсолютные значения ошибок и подробная методика в объявлении не приведены.

Внутренние проверки Grok Voice Transcribe 2.0 используют четыре набора из производственного трафика: телефонные звонки поддержки, разговоры с Grok, произносимые коды и адреса электронной почты, а также короткие многоязычные команды. xAI сообщает об улучшении относительно первой версии на всех четырёх наборах.

На телефонной речи модель, по заявлению xAI, опередила все модели, с которыми её сравнивали. Компания использует показатель частоты ошибок слов, однако в анонсе не раскрывает абсолютные значения. Особенно трудны номера, адреса и перекрывающиеся голоса.

На коротких голосовых командах xAI сообщает о снижении доли ошибок с 20,6% до 6,8%. Модель автоматически определяет язык и его смену, расставляет временные метки и оценки уверенности для слов, различает говорящих и обрабатывает до восьми каналов аудио. Для терминологии можно задать до 100 специальных слов; также модель форматирует даты, суммы и контакты.

Версия доступна через Speech-to-Text API и, по заявлению xAI, совместима с прежним кодом. Atlassian Loom выбрала её для расшифровки видео и сообщила о большей точности по сравнению с прежним решением. Первое место и сравнение точности основаны на наборах тестов и заявлениях компании; независимые условия сравнения в исходном материале ограничены.