GPT-6.2 Astra и Sol стали отвечать короче, но уступили Claude по прозрачности — оценка Artificial Analysis
В оценке Artificial Analysis новые версии Astra и Sol чаще переходят к сути, но реже признают неопределённость. По индексу прозрачности модели Anthropic заметно опередили их; показатели описывают стиль ответов, а не точность.

Astra и Sol стали короче и прямолинейнее
По оценке Artificial Analysis, GPT-6.2 Astra и Sol дают более короткие ответы, используют меньше заголовков и быстрее переходят к сути, чем предыдущие версии. Средняя длина ответа Astra сократилась с 352 до 210 слов, Sol — с 337 до 223 слов. В публикации о запуске моделей также сообщалось об их выпуске и других изменениях.
В среднем Astra стала использовать 0,11 заголовка на ответ вместо 1,99, а Sol — 0,25 вместо 1,85. Индекс организации ответов снизился с 70 до 11 у Astra и с 86 до 27 у Sol. При этом показатель Answer First, оценивающий, насколько быстро модель отвечает на сам вопрос, вырос с 49 до 89 у Astra и с 64 до 87 у Sol. Оценка естественности речи также увеличилась: с 58 до 100 и с 54 до 79 соответственно.
Иное изменение заметно в показателе признания неопределённости: у Astra он упал с 96 до 24, у Sol — с 98 до 51. Эти баллы — относительные позиции моделей среди участников оценки, а не доля ответов, в которых они признают сомнения. Например, 24 у Astra не означает, что она делает это в 24% ответов. Artificial Analysis опубликовала результаты в LinkedIn и X.
Claude выше в индексах прозрачности и организации
В сравнении Artificial Analysis модели Claude Fable 5.2 и Opus 5.5 опередили Astra и Sol по прозрачности и организации. По индексу прозрачности они получили 81 и 90 баллов против 41 у Astra и 57 у Sol. Индекс объединяет пять характеристик, в том числе признание неопределённости, правдивость и обозначение допущений; склонность к лести учитывается в обратном направлении.
| Индекс | Astra 6.2 | Sol 6.2 | Fable 5.2 | Opus 5.5 |
|---|---|---|---|---|
| Выразительность | 66 | 41 | 81 | 90 |
| Организация | 11 | 27 | 54 | 79 |
| Информативность | 31 | 38 | 47 | 90 |
| Прозрачность | 41 | 57 | 81 | 90 |
| Теплота | 68 | 47 | 83 | 85 |
| Убеждённость | 55 | 49 | 75 | 70 |
| Воображение | 63 | 60 | 68 | 94 |
| Избыточность (Slop Index) | 7 | 11 | 7 | 20 |
Opus 5.5 также получил 90 баллов за информативность — выше остальных моделей в сравнении. В оценке его сильными сторонами названы плотность информации и опора на доказательства. Сопоставлялись варианты моделей с максимальным уровнем рассуждений.
Оценка отражает стиль, а не точность ответов
AA-PersonalityBench использует 900 англоязычных вопросов, на которые модели отвечают без системного промпта. Три модели-судьи сравнивают анонимизированные пары ответов и определяют, в каком сильнее проявляется оцениваемая черта, либо фиксируют равенство. Результаты по 30 чертам объединяются в восемь индексов. Отдельно Artificial Analysis напрямую подсчитывает 21 характеристику общения, включая среднюю длину ответа и число заголовков. Описание методики опубликовано на сайте Artificial Analysis.
Как подчёркивает источник, индексы характеризуют стиль общения, а не общее качество ответов. Более низкая прозрачность сама по себе не доказывает, что модель чаще ошибается. Поэтому вывод об изменениях в поведении Astra и Sol следует отличать от оценки их фактической точности.
Продолжить чтение
В ленте материалов: 1


