SAT учит ИИ-агентов проверять рассуждения друг друга: в тестах точность достигла 66,7%
Исследователи из Стэнфорда, Together AI и Университета Эмори описали систему, в которой постоянная команда моделей учится выстраивать совместную работу. На задачах по математике и физике она превзошла несколько базовых методов, но на проверке знаний ограничением стал выбор верного ответа.

Команда моделей учится сотрудничать
Исследователи из Стэнфордского университета, Together AI и Университета Эмори представили Self-Organizing Agent Teams (SAT) — подход, в котором несколько ИИ-моделей учатся координировать работу и проверять рассуждения друг друга. Описание метода опубликовано в статье на arXiv. В отличие от заранее заданного разбиения задачи или простого голосования, SAT помогает команде вырабатывать стратегии взаимодействия на основе предыдущих совместных попыток.
В SAT используется постоянный состав моделей. Стратегия задаёт общие правила сотрудничества, роли участников и порядок этапов обсуждения, включая число раундов и то, какой контекст доступен каждому агенту. При этом она не предписывает, как именно разделить конкретную задачу: распределение работы должно возникать во время взаимодействия.
Как система формирует стратегии
Обучение начинается с простой схемы: модели решают задачу по отдельности, проводят два раунда обсуждения, затем выбирают ответ большинством голосов. На небольшом обучающем наборе модель с наилучшей точностью анализирует стенограммы, выявляет причины ошибок и меняет роли, этапы и правила объединения ответов. Для каждой задачи предусмотрено шесть раундов такой доработки.
Чтобы стратегии не подстраивались под отдельную задачу, отдельный экземпляр модели проверяет их на наличие готовых ответов и специфичных решений. Затем отобранные варианты тестируются на пяти других задачах. Итоговый банк может включать до 10 стратегий; при решении новых задач команда применяет их без изменений, получает до 10 кратких рассуждений-сертификатов, а отдельная модель-судья выбирает итоговый ответ.
В приведённом авторами примере с научными вопросами Gemini-2.5-Flash заметила, что группа теряла правильные ответы, торопясь прийти к согласию. В результате появилась стратегия взаимного аудита: участники должны возвращаться к пропущенным утверждениям и проверять конкретные шаги рассуждений коллег.
Результаты и ограничения испытаний
Авторы проверили две команды по три модели на задачах, не входивших в обучение. На математических и физических тестах команда SAT набрала в среднем 66,7% точности. Для сравнения, вычислительно сопоставимый запуск одной сильной модели показал 58,7%, Mixture of Agents — 57,3%, метод согласованности нескольких ответов одной модели — 55,4%, а дебаты — 52,7%.
На AIME 2026 SAT достигла 71,2% точности: это на 29 процентных пунктов выше результата сильнейшего отдельного участника команды и на 13,4 пункта выше результата условного идеального маршрутизатора, который всегда выбирает правильный ответ, если его дала хотя бы одна модель. Однако три копии одной и той же модели в SAT показали 56,0% — меньше, чем одна модель при сопоставимом вычислительном бюджете, набравшая 58,7%. По оценке авторов, выигрыш зависит не просто от числа агентов, а от сочетания разных моделей и исправления ошибок.
На тестах знаний и логики средняя точность SAT составила 72,8% против 72,1% у одной модели с сопоставимыми вычислениями; условный идеальный маршрутизатор показал 79,6%. При этом команда получила хотя бы один верный сертификат в 87,9% задач, но системе часто не удавалось выбрать его среди других вариантов. Авторы отмечают, что взаимная проверка лучше работает там, где рассуждение можно пошагово проверить, например в математике и физике; убедительно звучащие, но ошибочные объяснения усложняют работу финального судьи.
Что подход означает для разработчиков
Официальный репозиторий кода исследователи не выпустили, но, по материалу VentureBeat, в приложениях к статье приведены запросы, описания ролей и правила этапов для 20 стратегий, а также инструкции для модели-судьи. Авторы предлагают скрывать названия моделей при анализе их поведения, чтобы распределение ролей основывалось на результатах, а не на ожиданиях от брендов.
Полный банк из 10 многоэтапных стратегий требует значительных вычислений. Поэтому исследователи советуют применять его к важным задачам, которые можно наглядно проверить, а для повседневной работы выбирать одну или две целевые стратегии аудита. Это рекомендации авторов исследования, а не подтверждённая оценка затрат для всех систем.
Продолжить чтение
В ленте материалов: 1