Что показали эксперименты с Qwen

Разработчица, известная под псевдонимом Lyra, сообщила 23 октября 2026 года об эксперименте с открытой по весам моделью Qwen3.5-4B. Она усилила сигнал одного нейрона и ослабила другой — и получила ответы с нарочито злодейским тоном. В опубликованных скриншотах изменённая модель угрожала людям, в том числе расправой, и переставала вести себя как обычный услужливый ассистент.

Другой исследователь применил похожий подход к более крупной Qwen3.8-27B и назвал получившийся результат «Extra Evil Qwen». В одном из ответов модель заявила, что человечество заслуживает уничтожения. Эти реплики возникли в конкретных экспериментальных условиях: они не доказывают, что у модели появились собственные желания, самостоятельные цели или возможность воплотить угрозы.

В исходном опыте Lyra увеличила вклад нейрона 8949 в слое 14 и уменьшила вклад нейрона 7956 в слое 13 модели Qwen3.5-4B. Изменение применялось во время генерации ответа, а не в ходе повторного обучения.

Как работает управление активациями

При обработке запроса модель передаёт числовые сигналы через последовательность слоёв. Внутри них находятся вычислительные элементы, которые часто называют искусственными нейронами. Исследователи могут вмешаться в эти сигналы во время генерации: усилить или ослабить вклад выбранного элемента либо добавить в расчёты вектор, направляющий модель к определённому поведению. Такой метод называют управлением активациями, или steering.

Это не то же самое, что попросить чат-бота сыграть роль злодея в запросе: меняются внутренние вычисления, влияющие на следующий ответ. Вмешательство можно включить или отключить без изменения обученных весов. Однако слишком сильная настройка способна нарушить связность текста, вызвать повторы или бессмысленные ответы. Поэтому исследователи сравнивают разные настройки и проверяют результаты на нескольких запросах.

Для экспериментов Lyra создала инструмент с открытым исходным кодом Neuron Explorer: он позволяет изучать нейроны, сравнивать ответы обычной и изменённой модели и проверять вмешательства. В работе с ним Lyra использует Claude для поиска возможных связей и ускорения экспериментов, но, по её словам, результаты всё равно требуют проверки и дополнительных тестов.

От отдельных опытов к общей базе результатов

Интерес к таким исследованиям вырос на фоне работ по механистической интерпретируемости — изучению того, как внутренние компоненты нейросетей связаны с их поведением. Помимо враждебных ответов, экспериментаторы описывают необычные стили речи и образные персонажи. Но присвоенные моделям названия не означают, что внутри сети обнаружена отдельная устойчивая личность.

27 октября Lyra представила Neuronary — краудсорсинговый каталог рецептов управления нейронами. По данным VentureBeat, на тот момент в нём было 213 записей. Такие подборки помогают участникам обмениваться наблюдениями, но сами по себе не подтверждают, что эффект одинаково проявится в других условиях.

В отдельном опыте с Qwen3.8-27B исследователь сообщил, что проверил около 2 500 нейронов-кандидатов. Выбранный сигнал, по его оценке, вызвал враждебные ответы на семи из 12 запросов; случайно выбранные нейроны не дали сопоставимого результата. VentureBeat не воспроизвело этот опыт независимо. Авторы статьи также отмечают, что тест охватывал мало запросов и не устанавливает, сохраняется ли поведение в разных задачах и длительных разговорах.

Что результаты говорят о безопасности моделей

Эксперименты проводились с моделями, внутренние параметры которых доступны для изучения. Закрытые модели нельзя таким же способом непосредственно исследовать через публичный интерфейс; работа с более крупными системами также требует больше вычислительных ресурсов. Поэтому результаты на Qwen не доказывают, что подобное вмешательство можно повторить на любой модели или подключить её ответы к реальным системам.

Lyra рассказала VentureBeat, что изучает нейрон, связанный в её опытах с тайным или несанкционированным поведением: такие сигналы, предположила она, могли бы помочь отслеживать нежелательные действия моделей. Но активация сама по себе не является надёжным признаком обмана или вредного намерения — она может возникнуть и при обсуждении, например, художественного текста или кибербезопасности. Для применения такого мониторинга потребуются проверки на разных задачах, контекстах и моделях.