SiMa.ai выпустила Palette 3.0 для локального ИИ на устройствах
Обновление позволяет нескольким ИИ-приложениям делить ресурсы Modalix и добавляет Model Browser. SiMa.ai заявляет об ускорении генерации текста до 3,5 раза, но результаты зависят от модели и метода декодирования.

Обновление для устройств без постоянного подключения
SiMa.ai выпустила Palette 3.0 — программную платформу для запуска ИИ-нагрузок на своих процессорах Modalix. Она рассчитана на разработчиков роботов, дронов и промышленных систем, которым нужно обрабатывать данные датчиков и запускать несколько приложений, не расходуя чрезмерно память и энергию устройства.
Главное изменение — приложениям стало проще совместно использовать ускоритель. По словам компании, обновление также позволяет ускорить генерацию текста до 3,5 раза. Palette SDK доступен с 31 октября, а обновлённый Model Browser, как заявила SiMa.ai, запускается 17 ноября.
В интервью VentureBeat представители SiMa.ai уточнили, что изменения работают на уже выпущенных чипах и реализованы программно. Описание платформы доступно на сайте SiMa.ai.
Что измеряют заявления об ускорении
Основной прирост скорости генерации SiMa.ai связывает со спекулятивным декодированием: модель предварительно предлагает несколько токенов, а целевая модель проверяет их вместе. В презентации компании прирост пропускной способности декодирования составил от 2,21 до 3,49 раза по сравнению с обычной генерацией на тех же целевых моделях. Среди примеров — связка DFlash N16 и Qwen3.5 9B; для Gemma 4 упомянуто многотокенное предсказание.
В отдельном тесте автомобильного ассистента на 900 запросах компания сообщила об ускорении времени ответа в 1,35–2,06 раза. По её данным, все запросы завершились ожидаемыми структурированными вызовами функций. SiMa.ai также оценила снижение энергии на вычислительный запрос в 25,9–51,4% при примерно одинаковой средней мощности. Эта оценка относится к вычислениям чипа, а не к общему энергопотреблению робота, куда входят, например, двигатели и датчики.
Компания также выделяет поддержку GPT-OSS-20B на модуле Modalix с 16 ГБ памяти. Указанная возможность сама по себе не говорит о точности модели или скорости ответа в конкретном сценарии: эти показатели, как и ограничения контекста, разработчикам предстоит проверять на своей конфигурации. Подробности о спекулятивном декодировании SiMa.ai приводит в техническом документе.
Model Browser и условия использования
Обновлённый Model Browser показывает не только пропускную способность и задержку, но и энергопотребление чипа, загрузку процессора и памяти, а также выполнение отдельных слоёв модели. Для моделей с несколькими настройками можно изучить, как снижение числовой точности влияет на скорость и точность. По словам Лопеса Ролдана, браузер позволяет скачать артефакт для локального запуска на Modalix; публичные скрипты дают возможность собрать его заново, начиная с исходной модели.
Устройства можно обновлять и без интернет-соединения на месте установки: пакеты загружают там, где связь есть, а затем переносят на оборудование в поле. Для доступа к инструментам компания указывает Developer Center и GitHub. Библиотека Palette Neat Core опубликована под лицензией Apache 2.0, но условия лицензирования компилятора и прошивки в исходном материале не подтверждены.
SiMa.ai указывает цену DevKit 3.0 в 1 499 долларов для США и Европы. В комплект входят модуль Modalix, плата-носитель, корпус, блок питания и накопитель на 500 ГБ. Отдельную цену Palette 3.0 и стоимость оборудования для серийного производства компания не приводит. Кроме того, переход с версии платформы 2.1.3 на 3.0.0 требует миграции и пересборки нативных приложений под соответствующие компоненты. Сведения о комплекте опубликованы в магазине DevKit, а требования к переходу — в уведомлении о выпуске.
Продолжить чтение
В ленте материалов: 1


