Aleph Alpha выпустила модель Kolibri с открытыми весами
Немецкая компания Aleph Alpha представила Kolibri — немецко-английскую языковую модель с 78 млрд параметров. Благодаря архитектуре «смеси экспертов» на каждый токен приходится около 3 млрд активных параметров, что снижает вычислительную нагрузку.
Что известно
Немецкая компания Aleph Alpha представила Kolibri — немецко-английскую языковую модель с 78 млрд параметров. Благодаря архитектуре «смеси экспертов» на каждый токен приходится около 3 млрд активных параметров, что снижает вычислительную нагрузку.
Компания заявляет, что Kolibri набирает 71% в тестах по немецкому языку и генерирует ответы быстрее сопоставимых моделей — GPT OSS A5B, Qwen 3.6 A3B и Gemma 4 A4B. Немецкий язык составляет 21,3% обучающих данных; для него Aleph Alpha подготовила отдельный набор. Для создания синтетических данных также использовали китайские модели.
Kolibri рассчитана на государственные учреждения, авиацию и промышленность. Модель разработана с учётом европейского законодательства и закона ЕС об искусственном интеллекте, обрабатывает контекст длиной до миллиона токенов и обучалась на 768 ускорителях B200 в Германии и Финляндии. Её веса доступны на Hugging Face по лицензии Apache 2.0. 🤖