Эксперименты показали: доступ к AI резко снижал готовность признать неопределённость
В пяти экспериментах с 3 132 участниками возможность спросить модель почти устранила ответы «не знаю» — даже когда AI часто ошибался. Авторы предупреждают, что проверяли узкий тип вопросов.
Участники чаще отвечали, но ошибались
Исследователи провели пять экспериментов с 3 132 участниками. Вопросы касались мелких визуальных деталей фильмов — например, цвета формы в «Играй как Бекхэм». Такие сведения редко встречаются в текстах в интернете, поэтому использованная модель Step 3.5 Flash часто отвечала неверно.
| Условие | Без доступа к AI | С доступом к AI |
|---|---|---|
| Исследование 1a | 36% | 6% |
| Исследование 1b | 44% | 3% |
Уверенность выросла, точность упала
Во втором исследовании без финансового вознаграждения средняя уверенность группы с AI достигла 75,9 балла из 100 против 29,6 без AI. При этом доля правильных ответов сократилась с 27,6% до 10%. В совокупности участники с доступом к AI без вознаграждения отвечали правильно на 9,2% вопросов, а контрольная группа — на 27,5%. Они давали больше ответов, но правильных было примерно втрое меньше.
Что меняли стимулы и чего исследование не доказывает
В следующих экспериментах за правильный ответ давали 10 центов, за ошибочный снимали 10 центов, а за отказ от ответа не начисляли ничего. Вознаграждение умеренно снижало обращения к AI и помогало точности, но не устраняло разницу с контрольной группой. В эксперименте с автоматически показанным AI-ответом доля отказов без стимулов упала с 35% до 1%.