Экономия токенов не гарантировала правильного результата

В испытаниях Outshift команды из пяти ИИ-агентов в 75% дебатов завершали обсуждение, согласившись с неверным результатом. По словам компании, агенты отступали от своих позиций и приходили к консенсусу, поэтому отчёт о расходах мог показывать такие сессии как эффективные.

Старший вице-президент и генеральный менеджер Outshift Vijoy Pandey объяснил, что низкие затраты могли означать не эффективную работу, а то, что агенты не потратили усилия на согласование целей, переговоры и проверку результата. Поэтому стоимость работы отдельного агента, по его мнению, не показывает, насколько успешно справилась команда.

Материал VentureBeat представлен Outshift, а выводы о дебатах и работе инструментов принадлежат компании. Отдельно в статье упоминается исследование Berkeley: примерно треть рассмотренных в нём сбоев агентов связывали с несовпадением целей. Речь идёт именно о выводе этого исследования, а не об оценке Outshift.

В статье приведена ссылка на исследование Berkeley.

Общая память не заменяет согласование целей

Pandey считает, что общая память и корпоративные знания сами по себе не помогают агентам действовать сообща: каждый может оптимизировать работу под показатели своей функции. Например, отдел продаж может сообщить, что продукт должен поддерживать 100 000 пользователей, а инженеры понять это как 100 000 пользователей суммарно, тогда как клиент имел в виду 100 000 одновременных подключений.

Outshift выделяет три этапа, на которых нужна координация: до начала работы агенты должны договориться о намерении, во время выполнения — согласовывать действия и компромиссы, а в конце — проверять общий результат, а не только локальные задачи каждого агента. По словам Pandey, одной общей информации для решения этой задачи недостаточно.

Рост числа агентов усложняет совместную работу

По оценке Pandey, число корпоративных агентов будет расти из-за специализации, использования продуктов разных поставщиков и появления вспомогательных систем. Компании создают агентов для узких задач и дают им доступы в соответствии с ролью. В одном рабочем процессе могут участвовать решения Salesforce, Cisco, Microsoft, Harvey и Workday.

К этому добавляются модели, которым поручают отдельные этапы рассуждения или выполнения действий, а также инструменты безопасности и соблюдения требований. Чем больше таких компонентов участвует в работе, тем больше договорённостей им приходится достигать.

Outshift представила инструменты для проверки команд

Outshift сообщила о выпуске Scope, который анализирует уже собираемые трассировки OpenTelemetry и ищет отклонения поведения агентов от общей цели. Если агенты изначально по-разному понимают задачу, протокол Accord помогает согласовать намерение до начала работы; Concord предназначен для координации и переговоров во время выполнения.

MAS Lab проверяет, приводит ли работа многоагентной системы к результату, заданному её владельцами. Эти инструменты работают поверх стандартов Agent2Agent (A2A) и Model Context Protocol (MCP). По данным VentureBeat, Outshift опубликовала их в рамках проекта AGNTCY, связанного с Linux Foundation, и представила как часть открытой инициативы Internet of Cognition.