Участники чаще отвечали, но ошибались

Исследователи провели пять экспериментов с 3 132 участниками. Вопросы касались мелких визуальных деталей фильмов — например, цвета формы в «Играй как Бекхэм». Такие сведения редко встречаются в текстах в интернете, поэтому использованная модель Step 3.5 Flash часто отвечала неверно.

Доля вопросов, на которые участники предпочли не отвечать
УсловиеБез доступа к AIС доступом к AI
Исследование 1a36%6%
Исследование 1b44%3%

Уверенность выросла, точность упала

Во втором исследовании без финансового вознаграждения средняя уверенность группы с AI достигла 75,9 балла из 100 против 29,6 без AI. При этом доля правильных ответов сократилась с 27,6% до 10%. В совокупности участники с доступом к AI без вознаграждения отвечали правильно на 9,2% вопросов, а контрольная группа — на 27,5%. Они давали больше ответов, но правильных было примерно втрое меньше.

Что меняли стимулы и чего исследование не доказывает

В следующих экспериментах за правильный ответ давали 10 центов, за ошибочный снимали 10 центов, а за отказ от ответа не начисляли ничего. Вознаграждение умеренно снижало обращения к AI и помогало точности, но не устраняло разницу с контрольной группой. В эксперименте с автоматически показанным AI-ответом доля отказов без стимулов упала с 35% до 1%.