Записи разговоров стали источником сомнений

В колонке для The Verge старшая обозревательница Виктория Сонг рассказала об опыте использования Amazon Bee Frontier — носимого устройства, которое записывает разговоры, расшифровывает их и с помощью ИИ составляет сводки. Среди функций также есть список дел, рекомендации для личного развития Grow и чат-бот, отвечающий на вопросы о беседах и самой пользовательнице.

По словам Сонг, за 19 месяцев устройство стало лучше отделять её речь от диалогов по телевизору и научилось использовать данные календаря и приложения с фотографиями. Однако расшифровки и выводы ИИ нередко расходились с тем, как автор помнила события. В отдельных случаях система приписывала ей слова и взгляды, которых она, по её утверждению, не высказывала.

Сводки затронули терапию и медицинский приём

Особенно тяжёлым для Сонг оказался пересказ разговора о пережитом в детстве насилии: сухая формулировка ИИ и предложенная устройством оценка её состояния не совпали с тем, как она сама вспоминала встречу. Автор также сообщила, что забыла выключить Bee во время ежегодного медосмотра. В медицинском шаблоне сводка оказалась более фактической, чем вариант по умолчанию, но всё равно отличалась от её воспоминаний.

Сонг оценила, что за время эксперимента сводки были примерно на 75% точными, в 15% случаев вырывали сказанное из контекста, а ещё в 10% содержали, по её мнению, совершенно неверные выводы. Это личная оценка автора, а не результат независимой проверки устройства.

Психотерапевт предупредила о влиянии на самооценку

После трёх недель разговоров об устройстве психотерапевт Сонг попросила её выбросить Bee. Как пересказывает автор, специалист считает, что такие устройства могут заставить человека меньше доверять собственным ощущениям, а эмоционально неточные выводы ИИ — усиливать тревожные размышления и стремление всё перепроверять.

Сонг пишет, что в итоге ей стало легче от мысли, что она не наденет Bee на следующую сессию. По её опыту, незаметность постоянно слушающего устройства и уверенный тон его рекомендаций могут стать проблемой, особенно когда система ошибается в интерпретации личных разговоров.