MIT推出权重空间编程 改少量权重让模型性能暴涨

MIT的最新实验在大模型领域引发震动——通用大模型Astra实现了直接读取并编辑小模型权重的突破。将0.8B的Qwen3.5小模型交给Astra后，仅改动其中0.016%的权重，模型性能就出现了质的飞跃，全程未使用传统的训练流程，也无需梯度下降。

在相同的采样设置下，该模型在数学数据集MATH-500上的得分从7.9%飙升至48.1%，数学运算能力约提升了6倍；原本未纳入优化目标的指令执行能力，也同步提升了3倍之多。

这项技术被命名为“权重空间编程”，核心逻辑是让通用大模型直接分析神经网络权重，判断其功能与存在的问题，进而按需求修改权重，甚至从零构建出可用的网络。

具体来看针对Qwen3.5的实验：研究者为Astra搭建了Python环境，导入该小模型的全部权重，仅提出一个目标——尽可能提升模型的数学能力。传统模型训练需通过计算输出与目标的损失、反向传播获取梯度来更新参数，而此次实验中，具体的修改方向与内容完全由Astra自主决定。

Astra分析后发现，该小模型的数学表现被“推理循环”严重拖累：面对题目时，模型会反复生成相似文本却迟迟无法输出答案，最初96条练习回答里，有85条都跑到了32768个token的长度上限。这一问题甚至连Qwen自身的模型提示都曾提及。

顺着失败表现的线索，Astra将问题定位到了“前馈网络”，并修改了第15层和第19层各64个输出列对应的权重。最终，MATH-500回答触及长度上限的比例从93.0%降至33.1%。

研究者还为Astra设置了10次、25次、50次的前向调用预算，对应的修改后MATH-500得分分别为12.3%、14.1%和48.1%。值得注意的是，Astra省去了梯度训练环节，但模型的诊断与验证步骤仍正常进行。

那么Astra是如何从权重中提取关键线索的？研究者通过多组测试验证了它的权重分析能力。

第一组测试中，研究者训练了四个架构、输入通道和动作选项完全相同的小游戏网络，将原始权重以文本形式交给Astra后，它准确识别出了四个游戏的名称：打砖块、乒乓、吃豆人、高速公路，其中对打砖块的判断是通过权重集中的位置完成的。

另一组针对图像生成扩散模型的测试里，Astra能从权重中辨认出圆形、方形和三角形，但出现了细节偏差——模型实际生成的是实心图形，它却全部识别为轮廓，即能判断形状，却无法识别填充属性。

更具挑战性的测试中，研究者拿来三个拥有720万参数的小语言模型，分别用Python代码、日语罗马字和英语训练，移除输入输出层后仅保留中间的四个Transformer模块。此时，既无法确定数字与字符的对应关系，也无法直接运行文本，Astra需用Python分析权重，且不能向网络输入数据或观察运行结果。即便如此，它仍在两轮尝试中正确识别了三个模型的训练语言，并找出了全部“归纳头”。

另一个小车爬坡实验，直观展现了权重修改的实际效果。原本通过PPO训练的网络总会冲向坡顶后卡住，要完成任务需先倒车拉开距离再加速冲坡。研究者提供权重、场景描述和失败记录后，Astra无需借助工具，仅修改了3.5%的权重就生成了优化方案，在1024次测试中全部成功，将模型未通过训练习得的“动作顺序”直接写入了权重。

研究者进一步将要求升级：给Astra一个权重全为零的网络，让它直接构建出可用的模型。在MinAtar小游戏实验中，Astra仅拿到游戏规则、源代码和指定网络结构，没有训练数据、损失值、梯度或工具，也无法提前将网络放入环境试跑，需自行设计策略并转化为各层权重，一次完成生成。最终，Astra生成的网络平均得分达到517.4，而作为对照的PPO训练模型，训练1亿步得分仅15.8，训练5亿步得分也仅25.3，Astra的表现远超20倍。

这项工作的核心价值在于，让通用前沿大模型能够围绕自然语言目标，自主分析并改写小模型的权重。Astra自身的知识与能力来自此前的训练，分析权重、生成代码、批量推理与评测仍需消耗计算资源，因此GPU暂时仍不可或缺。不过，未来当小模型表现不佳时，开发者或许可以先思考：是需要重新训练，还是直接修改权重即可？