Обновление для устройств без постоянного подключения

SiMa.ai выпустила Palette 3.0 — программную платформу для запуска ИИ-нагрузок на своих процессорах Modalix. Она рассчитана на разработчиков роботов, дронов и промышленных систем, которым нужно обрабатывать данные датчиков и запускать несколько приложений, не расходуя чрезмерно память и энергию устройства.

Главное изменение — приложениям стало проще совместно использовать ускоритель. По словам компании, обновление также позволяет ускорить генерацию текста до 3,5 раза. Palette SDK доступен с 31 октября, а обновлённый Model Browser, как заявила SiMa.ai, запускается 17 ноября.

В интервью VentureBeat представители SiMa.ai уточнили, что изменения работают на уже выпущенных чипах и реализованы программно. Описание платформы доступно на сайте SiMa.ai.

Несколько задач на одном чипе

В демонстрации компании один Modalix одновременно запускал языковую модель и три модели, работающие с изображениями и текстом. В другом примере шесть контейнеров Docker делили ресурсы чипа для задач от распознавания объектов до оценки трёхмерной позы.

Palette 3.0 меняет передачу запросов: процессы обращаются напрямую к драйверам в ядре операционной системы, минуя промежуточную службу. Каждый аппаратный блок обрабатывает по одному запросу за раз, при этом разные блоки могут работать параллельно. Разработчики могут задавать приоритеты отдельным запросам.

В качестве примера менеджер продукта по генеративному ИИ Мануэль Лопес Ролдан описал камеру, которая постоянно распознаёт объекты, пока языковая модель время от времени добавляет контекст к изображению. Разработчик может назначить распознаванию более высокий приоритет. Однако материалы презентации не уточняют, как долго высокоприоритетные задачи могут ждать при длительной высокой нагрузке.

SiMa.ai также показала запуск YOLOv26 на 60 видеопотоках с разрешением 720p на одном Modalix: компания сообщила о суммарной скорости 600 кадров в секунду, в среднем 10 кадров в секунду на поток.

Что измеряют заявления об ускорении

Основной прирост скорости генерации SiMa.ai связывает со спекулятивным декодированием: модель предварительно предлагает несколько токенов, а целевая модель проверяет их вместе. В презентации компании прирост пропускной способности декодирования составил от 2,21 до 3,49 раза по сравнению с обычной генерацией на тех же целевых моделях. Среди примеров — связка DFlash N16 и Qwen3.5 9B; для Gemma 4 упомянуто многотокенное предсказание.

В отдельном тесте автомобильного ассистента на 900 запросах компания сообщила об ускорении времени ответа в 1,35–2,06 раза. По её данным, все запросы завершились ожидаемыми структурированными вызовами функций. SiMa.ai также оценила снижение энергии на вычислительный запрос в 25,9–51,4% при примерно одинаковой средней мощности. Эта оценка относится к вычислениям чипа, а не к общему энергопотреблению робота, куда входят, например, двигатели и датчики.

Компания также выделяет поддержку GPT-OSS-20B на модуле Modalix с 16 ГБ памяти. Указанная возможность сама по себе не говорит о точности модели или скорости ответа в конкретном сценарии: эти показатели, как и ограничения контекста, разработчикам предстоит проверять на своей конфигурации. Подробности о спекулятивном декодировании SiMa.ai приводит в техническом документе.

Model Browser и условия использования

Обновлённый Model Browser показывает не только пропускную способность и задержку, но и энергопотребление чипа, загрузку процессора и памяти, а также выполнение отдельных слоёв модели. Для моделей с несколькими настройками можно изучить, как снижение числовой точности влияет на скорость и точность. По словам Лопеса Ролдана, браузер позволяет скачать артефакт для локального запуска на Modalix; публичные скрипты дают возможность собрать его заново, начиная с исходной модели.

Устройства можно обновлять и без интернет-соединения на месте установки: пакеты загружают там, где связь есть, а затем переносят на оборудование в поле. Для доступа к инструментам компания указывает Developer Center и GitHub. Библиотека Palette Neat Core опубликована под лицензией Apache 2.0, но условия лицензирования компилятора и прошивки в исходном материале не подтверждены.

SiMa.ai указывает цену DevKit 3.0 в 1 499 долларов для США и Европы. В комплект входят модуль Modalix, плата-носитель, корпус, блок питания и накопитель на 500 ГБ. Отдельную цену Palette 3.0 и стоимость оборудования для серийного производства компания не приводит. Кроме того, переход с версии платформы 2.1.3 на 3.0.0 требует миграции и пересборки нативных приложений под соответствующие компоненты. Сведения о комплекте опубликованы в магазине DevKit, а требования к переходу — в уведомлении о выпуске.