Локальные модели
Локальные модели ИИ: запуск на своём компьютере или сервере, требования к железу, открытые веса и практический опыт.
Thinking Machines выпустила Inkling 2 Mini — открытую модель с циклическими слоями
Модель с 26,4 млрд параметров обрабатывает текст и изображения, имеет контекстное окно на 1 млн токенов и может запускаться локально на Mac с памятью от 32 ГБ.
2 мин чтенияSiMa.ai выпустила Palette 3.0 для локального ИИ на устройствах
Обновление позволяет нескольким ИИ-приложениям делить ресурсы Modalix и добавляет Model Browser. SiMa.ai заявляет об ускорении генерации текста до 3,5 раза, но результаты зависят от модели и метода декодирования.
4 мин чтенияNVIDIA представила четырёхузловой DGX Spark HPC Developer Kit для научных вычислений
Комплект объединяет до четырёх систем DGX Spark в сеть без коммутатора. По данным NVIDIA, кластер оснащён 512 ГБ общей памяти и 20 ТБ NVMe-накопителей.
2 мин чтенияGitHub добавила в API метрики BYOK и корпоративных моделей Copilot
Отчёты по GitHub Copilot теперь отдельно показывают использование локальных моделей и моделей, настроенных организациями. Для локального BYOK данные могут быть неполными из-за ограничений телеметрии.
2 мин чтенияBlock представила голосовую модель Dessa, обученную на человеческих разговорах
Компания заявляет, что модель училась общаться только на человеческой речи и может работать локально на MacBook Pro M4 Max или более мощном компьютере. Сейчас Block обещает ранний доступ небольшой группе исследователей безопасности ИИ.
2 мин чтенияRecursive выпустила Flint — первую модель, созданную при участии ИИ-системы для исследований
Модель с 40 млрд параметров предназначена для программирования на локальном оборудовании. Компания приписывает Eureka Machine выбор архитектуры и настройку вычислений, но заявленные результаты тестов пока не проверены независимо.
3 мин чтенияКитай предложил ограничить экспорт 23 ИИ-технологий, включая веса крупных моделей
Проект правил предусматривает запрет на вывоз некоторых ИИ-инструментов для кибератак и лицензии для отдельных моделей и технологий. Одновременно власти предлагают ускоренное оформление экспорта в ряде случаев.
3 мин чтенияRTX Spark: тестировщики отметили мощную графику, высокую цену и слабую автономность
Журналисты The Verge неделю проверяли пять ноутбуков на чипе Nvidia N1X. Они оценили игры и локальный ИИ, но указали на высокую стоимость, нагрев и ограничения процессора.
4 мин чтенияNVIDIA выпустила Nemotron 3.5 Super VL для работы с документами и изображениями
Открытая модель на 120 млрд параметров предназначена для мультимодальных ИИ-агентов. NVIDIA также представила две компактные модели; результаты дообучения и сравнения скорости компания приводит с оговорками.
5 мин чтенияMeta* представила открытую по весам модель Muse Spark Open
Модель рассчитана на программирование и ИИ-агентов, поддерживает контекст до миллиона токенов и мультимодальный ввод. По оценке Meta*, она опережает ряд открытых моделей в нескольких категориях.
* Компания Meta признана экстремистской и запрещена на территории РФ2 мин чтенияGoogle выпустила экспериментальное приложение для офлайн-конспектов встреч
Google AI Edge Foresight расшифровывает встречи и аудиофайлы без подключения к интернету. Приложение для macOS работает на локальной модели компании и пока оптимизировано для компьютеров с Apple Silicon.
1 мин чтенияThe Verge: Microsoft открыла предзаказ Surface RTX Spark Dev Box за $5 999
Компьютер для локальной работы с ИИ-моделями оснащён 128 ГБ объединённой памяти и поставляется с Windows 11 Pro и инструментами для разработчиков.
1 мин чтенияGoogle выпустила EmbeddingGemma 2: модель для локального поиска по разным типам данных
EmbeddingGemma 2 преобразует текст, изображения, видео, аудио и код в векторы. Google заявляет, что модель с 740 млн параметров показывает результаты на мультимодальных тестах на уровне конкурентов вдвое крупнее.
2 мин чтенияEngram превращает аудиосэмплы в экспериментальные звуки с помощью локальной AI-модели
Стартап Thoughtful Things запустил Kickstarter для автономного семплера и грувбокса. Устройство локально обрабатывает звук небольшой моделью; стартовый взнос начинается с 675 долларов.
2 мин чтенияВсе материалы загружены














