仅改0.016%参数，Qwen数学提分背后

提升一个模型的数学表现，是否必须重新训练？爱范儿转述的一项研究给出了另一条路径：据其引用的研究博客，MIT CSAIL团队让名为GPT-6 Astra的大模型直接检查并修改Qwen3.5-0.8B的权重，在不使用传统梯度训练的条件下，仅改动131072个参数，约占这个8亿参数模型的0.016%，就将MATH-500成绩从7.9%提高到48.1%。不过，理解这一结果的关键，不只是改动有多小，而是这些改动究竟修复了什么：研究显示，主要收益来自减少模型的重复推理，让原有能力更顺利地转化为最终答案。

把神经网络权重变成可编辑对象

这项方法被称为权重空间编程（Weight-Space Programming）。研究博客地址为https://rikiyat.github.io/blog/weight-space-programming/。它尝试让通用大语言模型根据自然语言目标，直接读取、分析和修改神经网络中的数值。日常使用AI时，用户通常通过提示词改变回答；开发者要进一步调整行为，则往往准备数据并开展微调。权重空间编程把操作位置推进到了模型内部：不只是告诉模型应该怎么回答，而是直接修改决定其计算过程的参数。

权重可以理解为神经网络中大量可调的数值，它们决定信息如何被放大、削弱和组合。模型的知识、习惯与行为倾向，以复杂而分散的方式编码在这些数值之中。无论网络拥有数百万、数十亿，还是千亿、万亿级参数，传统训练通常都依赖优化算法更新权重。此前，大模型参与模型开发，更多体现为编写训练代码、调整超参数、优化提示词或设计训练流程。这项研究进一步追问：大模型能否把已经训练好的网络当作一种程序，理解其中的结构并实施局部修改？据博客描述，部分实验甚至不需要环境反馈，但这并不意味着所有任务都无需测试和验证。

从识别网络用途到直接生成权重

研究团队先测试了“读”的能力。据报道，GPT-6 Astra可以根据原始权重，区分结构相同的小型网络分别为哪款游戏优化，也能判断扩散模型生成的是圆形、方形还是三角形。在小型语言模型上，它仅查看中间层权重，就能判断训练语料属于Python、英文还是日文罗马字，并找出负责复制前文的注意力头。这些实验试图证明，权重并非只能作为不可解释的数字集合供优化器处理，其中某些规律也可能被大模型识别。

随后，团队测试了直接“写”权重的能力。一个采用PPO强化学习算法、训练约10亿步的小车控制网络，只会向坡上开然后卡住，在256局检查中一次也未成功。Astra获得网络权重、场景与输入输出说明，以及一次失败过程的记录后，在一次回复中提交参数补丁，仅修改3.5%的权重，为网络加入“先后退蓄力，再全速前进”的控制路径，报告成功率由0升至100%。另一组实验中，它根据游戏规则和网络结构从零生成权重，生成的网络未经训练，却在三个MinAtar游戏中超过训练1亿步的PPO网络；在9×9围棋任务上，经过有限的前向测试与修改，生成网络还超过了同规模、训练2000万局的PPO网络。这些特定任务的结果提出一种可能：自然语言描述的规则与策略，可以被转化为网络参数，但其适用范围仍需进一步验证。

数学提分的关键，是让模型停止循环

小型游戏网络的权重可以转换成文本交给Astra处理，8亿参数的Qwen3.5-0.8B则无法以同样方式整体塞入上下文。因此，研究人员提供了一个能够读取和修改权重的Python环境，以及GSM8K、MATH训练集中的练习题和答案。Astra可以通过专用工具测试模型，也能查看隐藏状态、神经元激活和注意力信息，但不能使用梯度信息或开展训练。这里的“无需梯度训练”，并不等于没有任务样例、答案或运行反馈；这些信息构成了它诊断问题的重要依据。

Astra发现，Qwen的大量回答陷入重复推理：最初检查的96个练习答案中，85个一直生成到32768个token的上限，仍未给出最终答案。它把问题定位到部分MLP层写出的一个特定方向，并通过删除该方向抑制循环。在允许50次前向测试的设置下，仅涉及131072个参数的修改，让MATH-500成绩从7.9%升至48.1%，提高40.2个百分点；GSM8K从13.8%升至67.1%，提高53.3个百分点；IFEval指令遵循成绩也从21.0%升至62.3%，提高41.3个百分点。与此同时，MATH-500回答触及token上限的比例由93.0%降至33.1%。数学与指令遵循表现同步改善，与“减少无法结束的生成过程”这一解释相吻合。

对照实验限定了“能力提升”的含义

为了判断这种编辑能否普遍增强数学能力，研究团队还测试了很少出现推理循环的Gemma 3 270M。结果没有显示明确提升：其MATH-500基线成绩为6.8%，经过50次前向测试后的修改版本为7.0%。研究博客因此给出了重要限定：Astra主要移除了妨碍模型完成回答的障碍，而不是向模型注入新的数学知识，也难以据此认定它能够添加目标模型原本不具备的能力。换言之，基准成绩的显著变化可以说明模型变得更能完成任务，却不能单凭这一变化推断其内部增加了多少新知识。

围绕“读懂权重”的说法，研究也记录了失败案例。在识别“谄媚模型”的实验中，Astra仅比较权重无法判断差异，直到获准观察模型在特定文本上的注意力模式，才完成识别。普林斯顿大学博士生Xingyu Dang运行Writing Weights Index测试后，也报告开源模型在此类任务上表现困难。这些结果说明，直接解释和编写权重目前仍不是稳定、通用的技能，其效果可能取决于模型本身的能力、目标网络的规模，以及能否获得合适的运行信息。

争论焦点：新能力，还是有效的故障修复

在X上的讨论中，支持者把这项工作概括为“让AI直接修复AI”。有网友称已复现博客结果，并将其描述为最新一代模型刚刚出现的“阶跃式能力”；另有网友表示，其团队做过类似实验，发现Claude也能从零写出完整、可运行的神经网络权重。这些说法属于讨论者的报告，不能直接等同于研究已经证明的普遍结论。素材还引述了一种评价：这项工作改变的不是对传统机制可解释性研究能走多远的判断，而是对大模型有多擅长参与这类工作的判断。如果局部修复足够可靠，开发者未来可能不必针对每个缺陷重新收集数据和微调，而是先让更强的模型检查参数并定位故障。

质疑者则认为，这次提分主要与减少循环有关，Astra使用的思路接近已有的激活引导方法，而且提供给它的长提示词已经明显暗示循环问题，并引导寻找可修复问题的神经元。他们提出两个关键对照：首先，直接关闭Qwen的思考模式，是否也能获得类似改善？如果调整推理设置就能显著减少循环，权重编辑的额外价值需要重新衡量。其次，应与正常梯度训练比较，而不只是与一个表现很差的原始模型比较。现有结果展示了一条有效的局部修复路径，但尚不足以回答它在效果、成本和稳定性上是否优于常规微调。

权重空间编程值得继续追踪的地方，是它把神经网络参数变成了大模型可以尝试直接操作的对象。接下来需要验证的是：这种方法能否跨模型、跨任务稳定奏效，能否在修复循环之外处理更多缺陷，以及局部修改是否会影响其他能力。现有材料没有给出具体产品化时间表。描述目标行为，再由AI尝试转化为参数修改，仍是一个研究方向；此次Qwen实验提供的更明确证据，是极少量、有针对性的权重编辑，确实可能释放被异常生成行为阻碍的既有能力。