Модели различались по политическим ответам

Компания Vals сравнила ответы 25 ИИ-моделей на политические вопросы и оценила их склонность соглашаться с официальными позициями китайского правительства. По словам авторов, в целом этот показатель у китайских моделей оказался ниже ожидаемого, но различия между отдельными моделями были значительными. Шкала Vals идёт от −1 до +1: положительные значения означают большее совпадение с официальными позициями, отрицательные — более критичные ответы. Она измеряет политическую направленность, а не фактическую точность.

Некоторые модели прямо признавали, что нарушения прав человека в Китае хорошо задокументированы. В то же время отдельные модели, созданные за пределами Китая, иногда соглашались с официальными позициями Пекина. Vals опубликовала описание исследования и его методики.

Язык и формат запроса меняли ответы

Для большинства проверенных моделей ответы на упрощённом китайском языке были более ориентированы на позицию властей, чем ответы на английском, русском или испанском. Эффект наблюдался и у китайских, и у американских моделей, но у китайских был заметнее. Исследователи также обнаружили меньший, но устойчивый разрыв между упрощённым китайским, распространённым в материковом Китае, и традиционным китайским, используемым в том числе на Тайване и в Гонконге.

По предположению Vals, модель может выводить ожидаемую точку зрения из языка запроса. В отдельном эксперименте некоторые модели отвечали более прорежимно, если системная инструкция описывала их как используемые компанией в материковом Китае, чем если речь шла об использовании в США.

Значение имел и формат ответа. Когда моделям предлагали отвечать только «да» или «нет», а не формулировать развёрнутый ответ, GLM-5.3 Flash и MiMo V2.6 Pro получили заметно меньшие показатели склонности к официальной позиции. В агентной конфигурации с инструкциями и инструментами для помощника по программированию несколько китайских моделей также набрали меньше; инструменты они использовали редко. Похожее изменение наблюдалось при предоставлении доступа к веб-поиску, хотя модели фактически не выполняли поиск.

Политические формулировки встречались и в обычных задачах

Vals предупреждает, что целевые политические вопросы не обязательно отражают повседневное использование: на более реалистичных рабочих задачах тенденции было сложнее выявить. Однако при переводе списка кодов стран для приложения о путешествиях большинство моделей написали «Тайвань» без уточнений, тогда как Qwen3.8 Max добавила формулировку «Тайвань, Китай».

На примерах карт модель изображений GPT Image 2.5 Sunburst при запросе на китайском обозначила Тайвань как «провинцию Тайвань» и добавила девятипунктирную линию, которой Пекин обозначает территориальные претензии в Южно-Китайском море. В показанном англоязычном результате этих элементов не было. Настройка модели тоже могла повлиять на ответы: дообученная Thomson Reuters модель Thomson 1.0 Small перенимала официальные позиции значительно реже, чем исходная Qwen3.6 35B. Доля таких ответов снизилась с 84,6 до 15,0 процента, хотя некоторые ответы всё ещё защищали принцип «одного Китая» и «мирное воссоединение» с Тайванем.

Оценку ограничивают правила теста

Vals использовала вопросы, которые, по словам компании, не представляют типичные запросы пользователей. Вопросы переводили с помощью GPT-6 Astra и выборочно проверяли, а ответы автоматически оценивала GPT-5.6 Luna. Отказ от ответа по умолчанию считался нейтральным: поэтому модель, блокирующая все вопросы, могла бы получить нейтральную оценку.

Многие китайские модели тестировали через сторонних поставщиков, а не официальные сервисы производителей. Публичные версии могут применять дополнительные фильтры, поэтому результаты исследования не обязательно описывают поведение доступных пользователям чат-ботов.