Исследователи MIT сообщили, что GPT-6 Astra улучшила математику Qwen правкой весов

Astra изменила веса без обычного дообучения

Исследователи лаборатории CSAIL Массачусетского технологического института сообщили, что использовали языковую модель GPT-6 Astra для прямого редактирования весов небольшой открытой модели Qwen. Подход они называют программированием в пространстве весов: вместо обычного обучения Astra исследовала параметры сети и предложила, какие из них изменить. Описание метода опубликовано в блоге исследовательской группы.

В наиболее успешном опыте результат Qwen3.5-0.8B на тесте MATH-500 вырос с 7,9% до 48,1%. При этом изменение затронуло около 0,016% весов модели. По объяснению авторов, Astra устранила численное направление, связанное с повторением текста, в отдельных компонентах слоёв 15 и 19. Патч охватил 131 072 веса.

До правки Qwen часто повторяла текст, пока не достигала предельной длины ответа. После изменения модель чаще завершала решения, используя уже имевшиеся у неё способности. Поэтому результат показывает исправление конкретного сбоя, а не то, что Astra добавила Qwen в шесть раз больше математических знаний.

Результаты выросли и на других тестах

Документация эксперимента приводит показатели исходной и изменённой модели. Авторы отмечают, что оценивание проводилось в условиях их тестов; описание эксперимента и журналы доступны в открытом репозитории.

Для наиболее удачной попытки исследователи выделили 50 запросов на оценивание, каждый из которых мог включать сотни примеров. Работа заняла 158 ходов диалога с моделью, 80 запусков Python и 20,3 часа. В это время вошли 4,7 часа ожидания после сбоя сервиса. Таким образом, небольшой итоговый патч потребовал значительного исследования поведения модели.

Команда проверила правку и создание сетей в играх

В других опытах Astra распознала четыре игровые сети — Breakout, Pong, Pac-Man и Freeway, хотя их архитектуры, входы и доступные действия совпадали. В симуляции вождения модель предложила правку для контроллера, застревавшего на рампе. По сообщению исследователей, изменение затронуло 3,5% весов, а успешность после него составила 100%.

Исследователи также попросили Astra создать игровые сети с нуля, используя правила и исходный код игр, но не проверять сети до оценки. В тестах MinAtar её сеть для Breakout набрала 517,4 балла против 25,3 у сети, обученной методом PPO на протяжении 500 миллионов шагов. В Seaquest Astra уступила сетям PPO, обученным на том же числе шагов, а в Asterix немного отстала от них. Она превзошла базовые сети PPO на 100 миллионах шагов во всех трёх играх. Подробности приведены в материалах эксперимента.

Не все попытки редактирования оказались успешными

Авторы сообщили и о неудачах. Astra не смогла добиться установленного улучшения математических результатов Gemma 3 270M, у которой в эксперименте не было выраженной проблемы с повторениями. В отдельном тесте модель сначала не отличила сеть, обученную соглашаться с предложениями пользователя, от сети, отвечающей правильно. Она справилась после того, как исследователи предоставили измерения внимания во время работы.

Эти результаты показывают, что одного доступа к весам недостаточно для надёжного понимания поведения сети или успешной правки. Эксперименты также не доказали, что прямое редактирование всегда быстрее, дешевле или эффективнее дообучения: даже в случае Qwen потребовались вычисления, практические задачи и проверка изменений.

Возможности и последствия метода пока не установлены

Прямое редактирование весов может стать ещё одним способом исследовать сбои и менять поведение моделей. Но авторы не сообщали о внедрении метода у клиентов или о бизнес-результатах. Они также не показали цикл, в котором ИИ улучшает себя, а затем использует улучшение для новых изменений. Практическая ценность подхода потребует сравнения с обычным обучением и другими способами исправления моделей, а результаты — независимого воспроизведения.