Новый стек для голосовых агентов

Mistral AI выпустила Voxtral 3 — семейство языковых моделей для голосовых агентов, работающих в реальном времени. В него входят модель распознавания речи Voxtral Small Transcribe 3, модель синтеза речи Voxtral Mini TTS 3 и SDK голосового агента на базе LiveKit.

Компоненты объединены в потоковый процесс: система может воспринимать речь, обрабатывать запрос, использовать инструменты и отвечать голосом. По данным Mistral, распознавание поддерживает более 50 языков, а синтез речи — более 35 языков и 50 диалектов; для голосового вывода предусмотрена адаптация эмоций. Во время разговора агенты могут обращаться к внешним системам — например, чтобы записать пользователя на встречу или проверить счёт.

Mistral сообщает, что Voxtral 3 можно запускать на собственной инфраструктуре или через API, размещённые в ЕС. Компания связывает эти варианты с возможностью контролировать данные. Цена распознавания речи начинается от $0.0035 за минуту. Подробности доступны в документации Voxtral.