Исследователи MIT CSAIL показали, как GPT-6 Astra исправила склонность Qwen3.5-0.8B к бесконечным повторениям, напрямую изменив её веса. В отчёте от 2 ноября результат на MATH-500 вырос с 7,9% до 48,1% при одинаковых настройках генерации. Авторы называют подход Weight-Space Programming: большая модель анализирует числовые параметры другой нейросети и пишет изменения к ним без градиентного дообучения.

Astra работала через Python с весами и учебными задачами. Ей разрешили до 50 обращений к инструменту проверки — каждое могло обрабатывать целую пачку примеров; итоговые тесты модель не видела. По журналам эксперимента, успешный запуск занял около 20 часов, включая 4,7 часа ожидания недоступной модели. Это последовательный поиск с обратной связью, а не мгновенное исправление по одному запросу.

Правка затронула около 0,016% параметров в двух слоях. Доля ответов MATH-500, оборванных лимитом в 32 768 токенов, снизилась с 93% до 33,1%. Улучшились и другие проверки: GSM8K — с 13,8% до 67,1%, выполнение инструкций IFEval — с 21,0% до 62,3%. Главное здесь — снятие помехи, мешавшей маленькой модели закончить рассуждение. В дополнительном опыте с Gemma 3 270M, которая редко зацикливалась, существенного улучшения математики получить не удалось.

Изменённые веса доступны на Hugging Face под Apache 2.0. Ахсен Халик восстановил их из опубликованной правки и повторил полный MATH-500: получил 51,0% на 500 задачах с четырьмя ответами на каждую. Исходную Qwen он проверил лишь на 25 задачах, поэтому это частичное воспроизведение, а не повтор всего сравнения.

Работа опубликована как исследовательский блог с журналами и кодом. Она показывает конкретный способ ремонта нейросети через её параметры; возможность таким же путём добавлять недостающие способности или заменить обычное обучение пока остаётся открытым вопросом.