Вместо всех документов — быстрый маршрут к нужному контексту

T-Mobile отказалась от попытки загрузить всю документацию поддержки в контекст ИИ-агента: противоречащие друг другу инструкции могли направить его по неверному сценарию. Граф знаний, который компания опробовала следующим, оказался слишком медленным и сложным для навигации во время разговора с клиентом. Об этом CIO компании Джефф Саймон рассказал на саммите VentureBeat.

Теперь компания использует кэш в базе данных «ключ — значение»: таблица сопоставляет распространённые формулировки клиентов с дальнейшим маршрутом. Команда обновляет её, когда клиенты задают вопросы новыми способами. Агент-оркестратор уточняет, какой сценарий нужен клиенту, и передаёт запрос агенту, у которого есть контекст именно для этого пути.

Перед передачей запроса модели T-Mobile убирает информацию, которая может оказаться неуместной. По словам Саймона, этот шаг стал одним из важных выводов компании. С 2024 года T-Mobile разрабатывает агентов для обслуживания клиентов в чате, по SMS и голосом; они также могут выполнять отдельные действия, например подключать международный пакет данных. Перед покупкой агент проверяет, что клиент действительно намерен её совершить.

Таблица очень простая, но она быстрая и отзывчивая, хорошо масштабируется, и пока производительность наших агентов хорошая.

Джефф Саймон, CIO T-Mobile

Отдельная модель проверяет диалоги и находит неожиданные сбои

На каждом сеансе в чате и голосовом канале T-Mobile запускает небольшую языковую модель-проверяющего. Она отмечает случаи, когда ответ мог быть неверным или клиент начинает сердиться, чтобы их могли проверить сотрудники. Саймон признал, что запуск второй модели увеличивает расходы, но компания считает его оправданным: заранее предугадать все необычные формулировки клиентов невозможно.

Проверяющий обнаружил, что многие звонящие слышат музыку ожидания, хотя T-Mobile её не включает. Инженеры несколько недель изучали телефонные системы и системы интерактивного голосового ответа, прежде чем выяснили: музыку выдумывала клиентская модель, когда приостанавливала разговор для поиска информации или вызова инструмента. Теперь в инструкциях модели отдельно сказано не придумывать музыку ожидания.

Опрос зафиксировал последствия ошибок в бизнес-контексте

В октябрьском опросе VentureBeat Intelligence о контекстных слоях для агентных систем участвовали 97 респондентов, чьи организации используют ИИ-агентов с корпоративными данными. 78% сообщили, что за последние шесть месяцев сталкивались хотя бы с одним уверенным, но неверным ответом из-за отсутствующего или противоречивого бизнес-контекста. Среди 76 респондентов, сообщивших о такой ошибке, 58% сказали, что наиболее значимый случай обнаружили внутри организации и он не повлиял на внешних участников. В 21% случаев неверную информацию получил клиент, партнёр или поставщик; в 12% ошибочная цифра попала в финансовый, регуляторный или совет директоров отчёт, а в 9% пришлось отменять решение или действие. Результаты опубликованы в опросе VB Pulse.

Саймон представил таблицу маршрутизации как быстрый и практичный вариант для обслуживания клиентов, а не как универсальную замену графам знаний. В исходном материале VentureBeat отмечает, что Adobe использует графы при подготовке контекста для маркетингового агента, а Uber сообщала о применении своего графа для поиска инженерных данных.