Astra и Sol стали короче и прямолинейнее

По оценке Artificial Analysis, GPT-6.2 Astra и Sol дают более короткие ответы, используют меньше заголовков и быстрее переходят к сути, чем предыдущие версии. Средняя длина ответа Astra сократилась с 352 до 210 слов, Sol — с 337 до 223 слов. В публикации о запуске моделей также сообщалось об их выпуске и других изменениях.

В среднем Astra стала использовать 0,11 заголовка на ответ вместо 1,99, а Sol — 0,25 вместо 1,85. Индекс организации ответов снизился с 70 до 11 у Astra и с 86 до 27 у Sol. При этом показатель Answer First, оценивающий, насколько быстро модель отвечает на сам вопрос, вырос с 49 до 89 у Astra и с 64 до 87 у Sol. Оценка естественности речи также увеличилась: с 58 до 100 и с 54 до 79 соответственно.

Иное изменение заметно в показателе признания неопределённости: у Astra он упал с 96 до 24, у Sol — с 98 до 51. Эти баллы — относительные позиции моделей среди участников оценки, а не доля ответов, в которых они признают сомнения. Например, 24 у Astra не означает, что она делает это в 24% ответов. Artificial Analysis опубликовала результаты в LinkedIn и X.

Claude выше в индексах прозрачности и организации

В сравнении Artificial Analysis модели Claude Fable 5.2 и Opus 5.5 опередили Astra и Sol по прозрачности и организации. По индексу прозрачности они получили 81 и 90 баллов против 41 у Astra и 57 у Sol. Индекс объединяет пять характеристик, в том числе признание неопределённости, правдивость и обозначение допущений; склонность к лести учитывается в обратном направлении.

Индексы Artificial Analysis по шкале от 1 до 100; для Slop Index меньший балл лучше.
ИндексAstra 6.2Sol 6.2Fable 5.2Opus 5.5
Выразительность66418190
Организация11275479
Информативность31384790
Прозрачность41578190
Теплота68478385
Убеждённость55497570
Воображение63606894
Избыточность (Slop Index)711720

Opus 5.5 также получил 90 баллов за информативность — выше остальных моделей в сравнении. В оценке его сильными сторонами названы плотность информации и опора на доказательства. Сопоставлялись варианты моделей с максимальным уровнем рассуждений.

Оценка отражает стиль, а не точность ответов

AA-PersonalityBench использует 900 англоязычных вопросов, на которые модели отвечают без системного промпта. Три модели-судьи сравнивают анонимизированные пары ответов и определяют, в каком сильнее проявляется оцениваемая черта, либо фиксируют равенство. Результаты по 30 чертам объединяются в восемь индексов. Отдельно Artificial Analysis напрямую подсчитывает 21 характеристику общения, включая среднюю длину ответа и число заголовков. Описание методики опубликовано на сайте Artificial Analysis.

Как подчёркивает источник, индексы характеризуют стиль общения, а не общее качество ответов. Более низкая прозрачность сама по себе не доказывает, что модель чаще ошибается. Поэтому вывод об изменениях в поведении Astra и Sol следует отличать от оценки их фактической точности.