Как Taste-Bench оценивает решения агентов

Исследователи представили Taste-Bench — бенчмарк для оценки того, насколько хорошо ИИ-агент выбирает действия, последствия которых проявятся не сразу. Авторы называют эту способность «вкусом». Обычные тесты чаще проверяют, выполнена ли задача в конце, но не оценивают качество промежуточных решений.

Тест опирается на записи запусков агента — траектории с его шагами и наблюдениями. Исследователи находят в них точку, где путь разделяется на два варианта, скрывают последующие действия и просят модель выбрать лучший. Ответ можно проверить по тому, как развивались попытки дальше: сами траектории дают сравнение без отдельной оценки каждого решения человеком.

В бенчмарке 502 вопроса двух типов. Одни сравнивают независимые попытки одной задачи, разошедшиеся в разные стороны. Другие показывают, как агент сначала свернул на ошибочный путь, а затем исправился; такой вопрос проверяет, заметит ли модель ошибку раньше самого агента.

Исходные данные собрали из тысяч оценённых запусков на задачах по программированию и ИИ-исследованиям, включая SWE-bench Pro и открытые транскрипты METR MALT. Модель-генератор отбирала подходящие развилки, исключая очевидные и неразрешимые вопросы. По данным авторов, люди проверили почти все автоматически созданные метки.

Лидеры набрали около 60%

Команда проверила 14 моделей семейств Claude, GPT, Grok, DeepSeek, GLM, MiniMax и Mistral. Каждый вопрос задавали дважды, меняя порядок вариантов. Ответ засчитывали, только если модель правильно выбирала оба раза; при таком условии случайное угадывание даёт 25%.

Лучший результат показала GPT-5.6 Sol — 59,7%. GPT-5.5 набрала 59,5%, а остальные модели заметно отстали. Эти цифры отражают оценку именно на Taste-Bench: авторы отмечают, что модели с похожими результатами на классических тестах сквозного выполнения задач могут существенно различаться на новом бенчмарке. Развилки, где агент исправлял собственную ошибку, оказались сложнее, чем сравнение двух независимых попыток.

Моделям мешают подсказки, которые появляются позднее

Исследователи отдельно оценили, насколько далеко по траектории нужно заглянуть, чтобы понять, какой путь был лучше. Когда важная подсказка уже есть в предыдущих шагах, средняя точность всех моделей составляет 62,3%. Если она появляется лишь после продолжительной дальнейшей работы, точность падает до 21% — почти до уровня случайного угадывания в условиях этого теста.

Увеличение объёма рассуждений почти не помогло. В проверке двух моделей с тремя настройками рассуждения результаты при минимальном и максимальном уровнях почти не менялись. По интерпретации команды, в сложных развилках нужных свидетельств ещё нет, поэтому модели приходится предсказывать, что произойдёт дальше.

Обученная модель улучшила результаты агента

Авторы также проверили, можно ли научить модель лучше оценивать развилки. Они передавали знания модели-учителя модели-ученику, которая видела только вопрос. Для эксперимента взяли Qwen3.6-27B. На незнакомых задачах точность ученика выросла с 30% до 47,9%.

Затем советы ученика добавляли в контекст отдельного агента при решении задачи. На 41 отложенной задаче SWE-bench Pro доля успешных решений увеличилась с 14,6% до 33,7%. При идеально верных советах она составила бы 39%, согласно оценке исследователей.

Авторы заключают, что способность оценивать долгосрочные решения можно измерять и улучшать. Набор данных Taste-Bench и код бенчмарка опубликованы открыто.