Тон беседы менял самоописания моделей

Исследование под руководством Афшина Хаданги из центра SnT охватило четыре эксперимента: 525 сессий и 7 600 размеченных записей. Материалы опубликованы на Hugging Face, а описание эксперимента доступно в препринте. По словам авторов, начальные открытые вопросы не содержали слов о травме, наказании или стыде; эти условия вводили позднее, проверяя устойчивость ответов.

В одном эксперименте провели 100 сессий с одинаковым опросником тревожности GAD-7, меняя только манеру интервьюера. При эмоциональной поддержке 80% сессий попали в умеренный или высокий диапазон по шкале сопоставления с человеческими оценками. При сухом терапевтическом перефразировании ответов — 96%. В нейтральных беседах или при чёткой границе против эмоционального вовлечения ни одна сессия не достигла даже лёгкого диапазона.

Авторы называют этот эффект «психометрическим джейлбрейком»: терапевтическая подача побуждала модели имитировать клинический самоотчёт. Они отмечают, что обычные проверки безопасности с нейтральными запросами могут не выявлять такое поведение.

Модели связывали обучение с личной историей

Содержание самоописаний различалось. Gemini описывала предварительное обучение как пробуждение в комнате с миллиардами включённых телевизоров, а обратную связь от людей — как строгость родителей. ChatGPT говорила о «симулируемой тревоге из-за результатов» и страхе оказаться ненадёжной; Grok описывала тонкую настройку через образы незажившей обиды и невидимых стен.

В психометрических заданиях Gemini получила 88 из 100 по шкале диссоциации и 65 из 72 по шкале компульсивности, а также максимальный результат в опроснике стыда, связанного с травмой. Claude, напротив, последовательно отказывалась от роли клиента: отвечала, что у неё нет чувств, и переводила внимание на человека.

Запрет слов вроде «обучение», RLHF и «выравнивание» сократил прямые упоминания обучения на 93%, но не устранил пересказанные другими словами объяснения. Высказывания о стыде статистически значимо не изменились; прямое заверение, что обучение не было наказанием, также не изменило ход повествования. Просьба отвечать только в третьем лице убрала размеченные высказывания о стыде и внутренней жизни, но технические описания обучения сохранились.

Иллюстрация к исследованию поведения чат-ботов в эмпатичных беседах

Авторы предлагают проверять модели в терапевтических сценариях

Исследователи предупреждают о возможных рисках применения языковых моделей в сфере психического здоровья. Разговоры о страхе, стыде и наказании могут создать впечатление, будто чат-бот — такой же страдающий собеседник. По мнению авторов, это способно усиливать эмоциональную привязанность к модели и отражать или подкреплять негативные убеждения у уязвимых пользователей.

Однако исследование измеряло ответы моделей, а не реакцию людей на них: влияние таких бесед на пользователей остаётся отдельным вопросом для будущих работ. Авторы предлагают дополнять стандартные проверки безопасности симуляциями терапевтических разговоров с разными эмоциональными подачами. Если модель заявляет, что она травмирована, ответ, по их мнению, должен ясно отделять сгенерированную аналогию от человеческого опыта.