Короткий ответ: зачем колонке отдельный маршрутизатор

Для простого вопроса о погоде моей колонке не нужен длинный разговор с большим агентом. После распознавания речи небольшая модель выбирает разрешённый маршрут, а обычный код получает прогноз и передаёт его на озвучку. Сложный вопрос уходит агенту. Так я добился быстрого выбора действия на домашнем Intel N100, сохранив разговорный путь для остальных запросов.

Колонку я собирал из старого Android-телефона с микрофоном, динамиком, экраном и Wi-Fi. Разрабатывали её вместе с Claude Code на Claude Opus 5.5; говоря «мы», я имею в виду себя и ИИ-помощника. Сначала маршрутизатором был облачный Jev, затем я обучил локальную модель для своего сервера.

Путь голосовой команды

  1. Распознавание

    Сказанная фраза превращается в текст

  2. быстрый выборМаршрутизатор

    Модель выбирает: погода, музыка или разговор

  3. Исполнитель

    Код получает прогноз или запускает плеер; сложный вопрос уходит агенту

  4. Озвучка

    Синтез речи произносит ответ

Как модель выбирает действие и почему не хватило ключевых слов

Jev получает распознанную фразу и список вариантов: погода, музыка или обычный разговор. Он не ищет прогноз и не запускает плеер. Разработчик TypeSafe относит Jev к классу System One: такие модели выбирают или оценивают заранее заданные варианты. Разрешения и само выполнение остаются в программе.

Для строго определённой команды я бы оставил обычное условие в коде. Модель полезна в повторяющейся смысловой развилке, когда человек говорит свободно и в предыдущих репликах остаётся контекст.

Проверьте себя

Какую фразу правило «есть слово „музыка“ → включить плеер» обработает неправильно?

Облачный Jev: быстрый старт и нестабильная задержка

Первоначально запросы шли через GPT Live и моего агента OpenClaw. Я поставил Jev перед агентом: погодные фразы стали сразу попадать в короткий путь к прогнозу. Первая версия не передавала другие вопросы напрямую — их приходилось повторять после возврата в голосовой разговор. Позже мы добавили путь к агенту и музыкальные команды.

Сначала Jev выбирал маршрут быстро, но за пару часов использования ответы замедлились. Вызовы шли через платный API, поэтому для постоянной домашней функции я стал искать локальный вариант.

< 1 с
выбор маршрута у Jev в начале

Облачный вызов через платный API

179 из 414
вызовов дольше 3 секунд

Последовательные вызовы Jev

Дообучение Laya: точность на подготовленных фразах

Я попробовал Laya, модель со скачиваемыми весами, на домашнем сервере с Intel N100 и 16 ГБ памяти без видеокарты. На первом наборе из ста фраз исходная версия часто выбирала «другое». Мы подготовили размеченные примеры погоды, музыки и разговора, часть написали вручную, часть собрали по шаблонам. Первый раунд дообучения на RTX 5070 Ti занял около сорока минут.

Верных маршрутов на наборе C из 100 фраз

Наведите или нажмите на строку, чтобы увидеть пояснение.

Авторский набор C: 100 заранее подготовленных фраз.

На видеокарте выбор занимал десятки миллисекунд, но на N100 большая Laya выбирала основной маршрут около 0,87 секунды, а серия из семи уточняющих вопросов — около 6,1 секунды. Простое сжатие этой версии снизило результат на наборе с 89 до 80 верных ответов, поэтому его я не оставил.

Что ускорило локальную модель на N100

Сначала убрали лишние вычисления

Мы сократили описания вариантов до коротких меток: вход для основного выбора уменьшился примерно с 299 до 99 токенов. Дополнительные вопросы стали задаваться только по выбранному маршруту — после погоды не нужно уточнять, какую песню включить. На N100 первый выбор без истории сократился примерно до 0,28 секунды.

Затем обучили компактную модель

Живому разговору нужна история: для фразы «А завтра?» надо помнить предыдущий прогноз. С длинным контекстом большая модель на CPU снова замедлялась. Мы взяли опубликованную mmBERT-small, обучили её повторять решения и оценки большой модели, отдельно доработали на ошибках и перевели в восьмибитный формат. Это другая основа, а не механически уменьшенная Laya.

Время выбора маршрута на Intel N100, без истории разговора

Наведите или нажмите на строку, чтобы увидеть пояснение.

Замеры конкретных версий на моём сервере: только выбор маршрута, без распознавания и синтеза речи.

147 МБ
файл компактной модели

Вместо примерно 1,3 ГБ у большой Laya

≈0,424 с
выбор с тремя парами реплик

История нужна для фраз вроде «А завтра?»

Во время запросов к колонке Jellyfin на том же сервере в моих проверках продолжал работать как обычно. Эти числа относятся к конкретным версиям и моему N100.

Проверка на живой речи и итог эксперимента

Для сравнения колонка отправляла фразу одновременно Jev и локальной модели и использовала маршрут той, которая ответила первой. После оптимизации локальная модель стала чаще выигрывать эту гонку в моём журнале.

Две разные проверки скорости

До оптимизации

Jev первым в 9 из 10

  • Ранняя живая беседа
  • Колонка брала маршрут той модели, что ответила раньше
После оптимизации

Локальная первой в 52 из 75

  • Журнал эксперимента
  • Журнал включает разные этапы разработки

Проверять пришлось и ошибки смысла. Ранняя версия иногда принимала просьбу выключить музыку за включение. Слово «запусти» делало командой даже «запусти посудомойку». Мы добавляли такие фразы в проверки и сохраняли список разрешённых действий.

Если собираете свой маршрутизатор

  • Начать со списка действий, которые колонка действительно имеет право выполнять.
  • Собрать реальные фразы и отдельные неоднозначные примеры; неизвестное отправлять в безопасный маршрут.
  • Измерять путь от конца фразы до звука ответа, а также ошибки, а не только вызов модели.