Исследователи нашли внутренние сигналы этапов рассуждения языковых моделей
В экспериментах с Qwen и Gemma внутренние представления различались в зависимости от того, извлекала ли модель данные, применяла формулу или вычисляла результат. Самый сильный сигнал наблюдался в средних слоях.
Сопоставление текста и внутренних представлений
Исследователи из KAIST и Naver AI Lab изучили, отражаются ли этапы пошаговых решений в числовых представлениях языковых моделей. Они проверяли Qwen2.5-7B, Qwen3-8B и Gemma4-31B на математических задачах. Ответы разделили на смысловые фрагменты, а GPT-5 помог классифицировать их по восьми операциям рассуждения, например извлечению данных, разбиению задачи, вспоминанию формулы, выводу и вычислению.
Затем команда анализировала внутренние активации моделей и обнаружила, что разные типы операций соответствовали различимым паттернам. Наиболее выраженный сигнал наблюдался в средних слоях сети.
Что результат не доказывает
Работа показывает связь между текстовыми шагами и внутренними состояниями в выбранных моделях и задачах. Она не означает, что исследователи напрямую наблюдают полное скрытое рассуждение модели или могут безошибочно восстановить его только по активациям.
Классификация текстовых фрагментов выполнялась с помощью другой ИИ-модели, а эксперименты охватывали три конкретные модели и математические задания. Поэтому выводы требуют проверки на иных архитектурах, предметных областях и способах формирования рассуждений.
Исследование проверяло Qwen2.5-7B, Qwen3-8B и Gemma4-31B на математических задачах. Учёные разделили пошаговые решения на фрагменты и разметили восемь операций рассуждения; во всех трёх моделях соответствующие внутренние представления группировались по смыслу.
Чтобы исключить простое влияние слов и позиции фрагмента, авторы сравнили внутренние состояния с классификатором, который видел только токены. Токенный вариант работал хуже. Это лабораторный анализ трёх моделей и математических решений, а не доказательство, что внутренние состояния всегда прямо объясняют ход мысли модели.