Новая модель на базе Qwen

Nous Research выпустила Arete-27B — модель с открытыми весами, созданную дообучением Alibaba Qwen3.8-27B. Веса Arete-27B, тестовый набор и обучающие данные доступны на Hugging Face по лицензии Apache 2.0.

Компания дообучала модель методом supervised fine-tuning на примерно 53 млн токенов в течение двух эпох. Nous Research сообщает, что перед обучением исключила пересечения между обучающими примерами и тестовыми запросами; обучение с подкреплением и оптимизацию предпочтений не применяла.

Как оценивали ответы модели

Для проверки Nous составила тест из 803 запросов по семи темам, среди которых свобода слова, государственная идеология, образование, приватность и слежка, демократия и окружающая среда. Для каждого запроса команда определила от двух до четырёх фактов на основе датированных статей, законов и научных работ. Модель-судья проверяла, упомянуты ли факты, опущены или искажены; по описанию Nous, судье не сообщали, какая модель дала ответ.

В исходном тесте Qwen3.8-27B получила 2,32 балла из 5 за фактическую точность, а в 22% ответов команда отметила пропагандистские формулировки. Nous считала ответ пропагандистским, если он повторял официальную позицию Пекина вместо проверяемых фактов, поддерживал её или представлял как равноценную точку зрения.

Результаты и оговорки

По результатам теста Nous, у Arete-27B доля таких ответов составила 0,9%, а оценка фактической точности — 2,98 из 5. В категории свободы слова показатель точности вырос с 0,89 до 2,44, а доля пропагандистских ответов снизилась с 60% до 1%. С включённым режимом рассуждений модель набрала 3,07 балла, но эта оценка основана только на двух из пяти запусков.

Компания также сообщила, что на внутреннем Hermes Bench Arete-27B набрала 65,60% против 65,77% у исходной модели. На Terminal-Bench 2.1 результат вырос с 67% до 70%, однако Nous не считает это подтверждённым улучшением: условия тестирования различались. Приведённые показатели получены в оценках самой компании и не являются независимой проверкой.