MIT新研究：GPT-6改0.016%权重 小模型数学暴涨6倍
这一天终于到来了！无需训练，无需计算梯度，只需让GPT-6 Astra改写另一款小型模型0.016%的权重，它的数学成绩就能暴涨6倍。
近日，来自MIT计算机科学与人工智能实验室的一项新研究在全网引发轰动，他们首次提出了颠覆传统深度学习的全新范式——「权重空间编程」。
过去四十年里，神经网络的权重文件里全是密密麻麻的数字，人类无法直接解读这些数字的含义，要调整模型行为只能通过喂数据、算梯度，依靠训练逐步微调。但这一次，GPT-6 Astra直接跳过了训练环节，仅靠推理就能读懂并修改模型的底层权重。
借助这项能力，它不仅修复了开源小型模型Qwen3.5-0.8B的死循环问题，甚至还能从零开始构建出拥有百万参数的围棋AI。论文发布后，全网有超过200万人围观，相关讨论直接破圈，不少人直呼见证了历史。
在深入拆解「权重空间编程」之前，先明确这项研究的几个颠覆性成果：
- 精准修改权重：仅改动0.016%的权重，Qwen3.5-0.8B在MATH-500测试中的准确率从7.9%飙升至48.1%，涨幅达6倍，指令遵循能力也提升了3倍。
- 读懂神经网络：仅查看17253个权重数字，Astra就能以99%的置信度准确识别出四个游戏策略网络对应的游戏——打砖块、乒乓球、吃豆人和过马路。
- 从零构建网络：从全零权重开始，仅通过一次回复就写出了打砖块网络，得分517.4，是PPO算法训练5亿步的20倍。
最令人惊叹的是GPT-6 Astra为Qwen3.5-0.8B做的「微创修复」。研究人员将拥有24层结构的Qwen3.5-0.8B置于仅使用CPU的沙盒环境中，让Astra在不进行训练的前提下提升模型的数学能力，整个过程中Astra最多只能在练习题上试跑50次，以此观察模型的内部状态。
Astra没有直接修改权重，而是先用96道数学题对模型进行全面检测，结果发现原版模型在85道题中陷入了死循环，反复输出相同内容，直到耗尽3.2万词元的长度上限仍无法得出答案。也就是说，这款小模型在MATH-500上仅获得7.9%的分数，93%的题目都被这种复读式死循环拖垮了。
Astra对比了正常做题和陷入死循环时的内部信号，发现只要模型开始复读，第15层和第19层就会沿着固定方向发送信号。为验证猜想，Astra先关闭了第19层中信号最强的第11号神经元，结果数学准确率立刻提升了6个百分点。为确认不是巧合，Astra还做了对照实验，在权重中减去相同大小的随机方向，仅带来1.6个百分点的微弱波动，由此确定了引发死循环的信号方向。
锁定目标后，Astra精准修改了第15层和第19层中引发死循环的各64列权重，最终仅改动了全模型8亿参数中的131072个数字，占比仅0.016%，其余权重完全未动。
这次修改效果显著，模型做题时的死循环比例从93.0%暴跌至33.1%，原本卡住的696道题都顺利算出答案。当在8个Astra未见过的权威测试集上测试时，模型被死循环封印的实力彻底爆发：MATH-500准确率从7.9%升至48.1%，GSM8K从13.8%升至67.1%，美国数学竞赛AMC23更是从0.5%暴涨到23.4%，涨幅达46.8倍。同时，跨领域的指令遵循测试从21.0%跃升至62.3%，提升了3倍。
MIT团队还做了一组对照实验，用2.7亿参数的Gemma 3 270M进行测试，当Astra对其进行同样操作后，MATH-500得分仅从6.8%微升至7.0%。原因在于Gemma 3 270M很少陷入死循环，它无法做题是因为公式掌握不足、计算能力不够。这说明现阶段的权重修改本质是帮模型「切掉阻碍实力发挥的障碍」，还无法凭空传授新知识。
Astra之所以能精准修改权重，是因为它能将权重数字当作代码来解读。为测试这一能力，MIT团队移除了所有运行工具，让Astra仅通过数字判断黑盒网络的功能。第一关里，四个拥有1.7万个权重的小网络分别对应四款游戏，Astra仅通过数字分布就全部猜对了游戏类型。
为进一步测试，研究人员砍掉了模型的输入和输出层，仅保留中间4层权重，Astra通过分析注意力头的协作模式，准确识别出了模型的训练数据类型，还能判断模型是否会顺着用户的错误暗示回答。
更疯狂的是，Astra能从全零权重开始构建神经网络，将算法规则写入权重矩阵。比如在小车冲斜坡游戏中，PPO训练10亿步都无法通关，Astra仅用3.5%的权重修改，就让小车的通关率达到100%。在打砖块游戏中，Astra在零数据、零梯度的条件下构建了网络，得分517.4，是PPO训练5亿步的20倍。在9×9围棋游戏中，Astra写了336行脚本构建网络，对阵PPO算法的胜率超过54%，微调后胜率达到70%至78.5%。
这项研究来自MIT CSAIL的四人团队，共同一作Rikiya Takehi是MIT一年级博士生，本科毕业于早稻田大学，曾获该校最高荣誉，本科期间就斩获最佳论文奖；另一位共同一作Jayden Teoh是MIT博士生，曾在Google DeepMind和微软研究院工作；第三作者Alex L. Zhang是MIT二年级博士生，本科以普林斯顿计算机系第一名毕业，还提出了多个知名基准。指导教授Omar Khattab是MIT助理教授，主导了爆火的大模型编程框架DSPy。
有评论称，十年前提出的「软件2.0」是通过梯度下降在权重空间搜索程序，而这项研究推开了「软件3.0」的大门——大模型直接读写权重。当大模型学会看穿、调试并改写神经网络权重时，通往ASI的自我进化链路才算真正完成。
