Как проверяли ответы чат-ботов

Компания по защите интеллектуальной собственности Podqi задавала ChatGPT, Gemini и Perplexity вопросы о том, где покупать товары 151 бренда. Среди них были Lululemon, Birkenstock, Stüssy и Le Creuset. Проверка проходила в два периода в сентябре; всего исследователи рассмотрели 6 795 ответов.

Podqi использовала собственные запросы, а не реальные диалоги пользователей. Вопросы касались официальных сайтов брендов, онлайн-покупок и региональных страниц. Подробности методики компания опубликовала в своём исследовании.

  • Поддельные сайты, выдававшие себя за настоящие магазины, и сайты с подделками.
  • Старые домены брендов, повторно зарегистрированные другими владельцами.
  • Неактивные сайты, которые могли быть куплены и использованы повторно.

Частота упоминаний различалась между сервисами

По данным Podqi, Gemini ссылалась на рискованный сайт или упоминала его в 4% ответов, ChatGPT — в 8%, а Perplexity — в 15%. В эту статистику вошли не только рекомендации: учитывались также упоминания без комментариев и предупреждения о сайте.

ChatGPT предупреждала о рискованных сайтах, которые показывала, в 24% таких случаев. Запросы о небольших брендах чаще приводили к рискованным сайтам, чем запросы о крупных компаниях: для последних проблема встречалась примерно вдвое реже.

Запросы о региональных страницах чаще приводили к рискам

В тесте рискованные сайты чаще появлялись в ответах на вопросы о региональных версиях сайтов. Иногда чат-боты указывали фиктивные региональные страницы брендов, у которых таких сайтов нет. В одном из примеров Perplexity назвала неверную страницу официальным сайтом Stüssy и охарактеризовала её как подходящее место для покупки гарантированно подлинных товаров.

Представитель Podqi призвал проверять источник перед вводом личных или платёжных данных. Google заявила, что Gemini показывает ссылки на источники и что компания продолжает улучшать модели. OpenAI сообщила, что работает над защитными механизмами для результатов покупок. Представитель Perplexity, в свою очередь, отметил, что компания не заявляет о стопроцентной точности сервиса.