Как ускорить умную колонку: локальная маршрутизация запросов на Intel N100
Как выбрать между погодой, музыкой и разговором с ИИ без долгого ожидания? Показываю путь от облачного Jev к локальной модели, замеры на N100 и ошибки живой речи.
Короткий ответ: зачем колонке отдельный маршрутизатор
Для простого вопроса о погоде моей колонке не нужен длинный разговор с большим агентом. После распознавания речи небольшая модель выбирает разрешённый маршрут, а обычный код получает прогноз и передаёт его на озвучку. Сложный вопрос уходит агенту. Так я добился быстрого выбора действия на домашнем Intel N100, сохранив разговорный путь для остальных запросов.
Колонку я собирал из старого Android-телефона с микрофоном, динамиком, экраном и Wi-Fi. Разрабатывали её вместе с Claude Code на Claude Opus 5.5; говоря «мы», я имею в виду себя и ИИ-помощника. Сначала маршрутизатором был облачный Jev, затем я обучил локальную модель для своего сервера.
Путь голосовой команды
- Распознавание
Сказанная фраза превращается в текст
- быстрый выборМаршрутизатор
Модель выбирает: погода, музыка или разговор
- Исполнитель
Код получает прогноз или запускает плеер; сложный вопрос уходит агенту
- Озвучка
Синтез речи произносит ответ
Как модель выбирает действие и почему не хватило ключевых слов
Jev получает распознанную фразу и список вариантов: погода, музыка или обычный разговор. Он не ищет прогноз и не запускает плеер. Разработчик TypeSafe относит Jev к классу System One: такие модели выбирают или оценивают заранее заданные варианты. Разрешения и само выполнение остаются в программе.
Для строго определённой команды я бы оставил обычное условие в коде. Модель полезна в повторяющейся смысловой развилке, когда человек говорит свободно и в предыдущих репликах остаётся контекст.
Какую фразу правило «есть слово „музыка“ → включить плеер» обработает неправильно?
Облачный Jev: быстрый старт и нестабильная задержка
Первоначально запросы шли через GPT Live и моего агента OpenClaw. Я поставил Jev перед агентом: погодные фразы стали сразу попадать в короткий путь к прогнозу. Первая версия не передавала другие вопросы напрямую — их приходилось повторять после возврата в голосовой разговор. Позже мы добавили путь к агенту и музыкальные команды.
Сначала Jev выбирал маршрут быстро, но за пару часов использования ответы замедлились. Вызовы шли через платный API, поэтому для постоянной домашней функции я стал искать локальный вариант.
- < 1 с
- выбор маршрута у Jev в начале
- 179 из 414
- вызовов дольше 3 секунд
Облачный вызов через платный API
Последовательные вызовы Jev
Дообучение Laya: точность на подготовленных фразах
Я попробовал Laya, модель со скачиваемыми весами, на домашнем сервере с Intel N100 и 16 ГБ памяти без видеокарты. На первом наборе из ста фраз исходная версия часто выбирала «другое». Мы подготовили размеченные примеры погоды, музыки и разговора, часть написали вручную, часть собрали по шаблонам. Первый раунд дообучения на RTX 5070 Ti занял около сорока минут.
Наведите или нажмите на строку, чтобы увидеть пояснение.
Авторский набор C: 100 заранее подготовленных фраз.
На видеокарте выбор занимал десятки миллисекунд, но на N100 большая Laya выбирала основной маршрут около 0,87 секунды, а серия из семи уточняющих вопросов — около 6,1 секунды. Простое сжатие этой версии снизило результат на наборе с 89 до 80 верных ответов, поэтому его я не оставил.
Что ускорило локальную модель на N100
Сначала убрали лишние вычисления
Мы сократили описания вариантов до коротких меток: вход для основного выбора уменьшился примерно с 299 до 99 токенов. Дополнительные вопросы стали задаваться только по выбранному маршруту — после погоды не нужно уточнять, какую песню включить. На N100 первый выбор без истории сократился примерно до 0,28 секунды.
Затем обучили компактную модель
Живому разговору нужна история: для фразы «А завтра?» надо помнить предыдущий прогноз. С длинным контекстом большая модель на CPU снова замедлялась. Мы взяли опубликованную mmBERT-small, обучили её повторять решения и оценки большой модели, отдельно доработали на ошибках и перевели в восьмибитный формат. Это другая основа, а не механически уменьшенная Laya.
Наведите или нажмите на строку, чтобы увидеть пояснение.
Замеры конкретных версий на моём сервере: только выбор маршрута, без распознавания и синтеза речи.
- 147 МБ
- файл компактной модели
- ≈0,424 с
- выбор с тремя парами реплик
Вместо примерно 1,3 ГБ у большой Laya
История нужна для фраз вроде «А завтра?»
Во время запросов к колонке Jellyfin на том же сервере в моих проверках продолжал работать как обычно. Эти числа относятся к конкретным версиям и моему N100.
Проверка на живой речи и итог эксперимента
Для сравнения колонка отправляла фразу одновременно Jev и локальной модели и использовала маршрут той, которая ответила первой. После оптимизации локальная модель стала чаще выигрывать эту гонку в моём журнале.
Две разные проверки скорости
Jev первым в 9 из 10
- Ранняя живая беседа
- Колонка брала маршрут той модели, что ответила раньше
Локальная первой в 52 из 75
- Журнал эксперимента
- Журнал включает разные этапы разработки
Проверять пришлось и ошибки смысла. Ранняя версия иногда принимала просьбу выключить музыку за включение. Слово «запусти» делало командой даже «запусти посудомойку». Мы добавляли такие фразы в проверки и сохраняли список разрешённых действий.
Если собираете свой маршрутизатор
- Начать со списка действий, которые колонка действительно имеет право выполнять.
- Собрать реальные фразы и отдельные неоднозначные примеры; неизвестное отправлять в безопасный маршрут.
- Измерять путь от конца фразы до звука ответа, а также ошибки, а не только вызов модели.
Продолжить чтение
В ленте материалов: 1