Baidu выпустила ERNIE-5.5-Flash-Base без дообучения и постобучения
Открытая базовая модель содержит 280 млрд параметров, из которых 14 млрд активируются для каждого входа. Версия с постобучением, по данным Baidu, выйдет позднее.

Модель предназначена для дальнейшей настройки
Baidu выпустила ERNIE-5.5-Flash-Base — открытую базовую модель, которую намеренно предоставила без дообучения и постобучения. Разработчики должны самостоятельно решать, как адаптировать её под свои задачи. Постобученную версию компания планирует выпустить позднее. Веса модели доступны на Hugging Face в форматах FP8 и BF16.
Архитектура и заявленные результаты
ERNIE 5.5 использует архитектуру смеси экспертов и насчитывает 280 млрд параметров; для обработки одного входа активируются 14 млрд. Модель предварительно обучили на 33,5 трлн токенов с контекстом до 128 000 токенов. При дообучении и выводе она рассчитана на поддержку контекста до одного миллиона токенов.
По заявлению Baidu, в тестах на рассуждение, программирование и работу с длинным контекстом модель конкурирует с открытыми базовыми моделями сопоставимого размера, включая DeepSeek V4 Flash и MiMo V2.5. В сравнении использовался единый конвейер оценки по категориям экзаменов, STEM, рассуждений, знаний, кода, многоязычности и длинного контекста.
Продолжить чтение
В ленте материалов: 1