AI改写模型权重，MIT研究让AI改进AI无需梯度下降

当一个模型在解决数学问题时生成了三万多个 Token，却仍在重复相似的推理步骤，最终无法输出答案时，通常的解决方法是调整训练数据、优化推理策略，或是重新微调模型。不过，近期一项研究提出了更直接的方案：借助另一个模型直接修改该模型的内部权重，从而解决问题。

来自研究团队的实验显示，名为 Astra 的模型检查了 Qwen3.5-0.8B 的内部权重，定位到问题所在后仅改动了约 0.016% 的权重，就让 Qwen 的 MATH-500 数据集成绩从 7.9% 提升到了 48.1%，接近原来的六倍。

这项研究的核心价值并非“0.016% 权重换六倍成绩”的数字，而是它让机制可解释性的输出从“解释”转变为“可执行的编辑指令”，为 AI 改造另一个 AI 提供了新的途径。

更值得关注的是，Astra 还具备其他能力：仅通过权重就能识别神经网络学习过的游戏、语言，甚至能从零生成一套网络权重，让模型直接学会玩游戏。研究者将这种能力称为权重空间编程。

权重空间编程背后的技术逻辑是，当神经网络的参数能够还原为具体的计算过程时，大型语言模型就可以像修改代码一样，直接改写模型内部的功能。

Astra 读取权重的方式，是这项技术的关键。研究者通过一系列实验验证了这一点：

首先是猜游戏的实验：他们训练了四个架构完全相同的神经网络，分别学习四款经典游戏，每个模型仅包含一万七千多个参数，输入是 10×10 的游戏网格，输出对应五种动作。训练结束后，研究者仅将权重交给 Astra，既不告知游戏名称，也不允许运行网络，Astra 却成功识别出了全部四款游戏。它利用的是训练过程留在参数中的痕迹，比如 Breakout 游戏中球拍始终沿屏幕底部移动，输入层中读取玩家位置的权重就集中在网格下沿，结合输出层对左右动作的响应，就能判断网络的控制对象。

对于结构更复杂的大型语言模型，Astra 同样能理解。研究者训练了三个约七百二十万参数的字符级 Transformer，分别学习 Python、罗马字日语和英语，随后移除输入和输出层，仅保留中间的四个 Transformer Block。Astra 无法知道隐藏维度对应的字符，也不能运行模型观察输出，只能分析内部矩阵之间的关系，它找到的突破口是 Transformer 中的 Induction Head——这类注意力头负责帮助模型复制历史文本。通过分析不同注意力头的矩阵乘积，Astra 在 Python 模型中找到了三个复制头，在另外两个模型中各找到一个，后续的功能测量也验证了这些判断。

既然能识别模型中的功能路径，研究者进一步尝试让 Astra 直接设计符合指定规则的网络权重。他们给 Astra 一套全零的网络权重，让它根据游戏规则生成策略，整个过程不依赖训练数据、损失函数或梯度，也不能提前运行游戏检查效果。

Astra 的方法类似编译程序：先明确任务需要的计算，再将这些计算分配给不同的网络层。以 Breakout 游戏为例，接住小球需要知道球的位置和移动方向，估算落点后控制球拍移动，Astra 就把计算落点的任务交给前面的网络层，后面的层根据落点与球拍的位置差生成动作，直接给出具体权重，让网络执行这套策略。实验结果显示，生成的 Breakout 网络平均得分达到 517.4，而传统方法训练的模型得分仅为十几到二十几分。

对于需要长程信息传递的任务，研究者将目标换成了 9×9 围棋，网络规模增加到约一百四十八万参数。Astra 借助 Python 构造权重矩阵，将围棋策略拆分为多个步骤：前面的层识别棋盘上的棋子和空点，中间层沿相连棋子传播信息，判断棋块状态，最后结合多种因素选择落点。尽管固定深度的网络只能传播有限距离的信息，复杂长程关系仍难处理，但 Astra 生成的网络已经能击败小型模型，超过了训练数千万局的同规模模型。

除了从零生成权重，Astra 还能给已有模型“打补丁”。在车辆控制实验中，一个模型只会直接向前冲坡，无法越过障碍，Astra 发现车辆需要先倒车获得加速距离，于是在原网络中增加了一条小型计算路径，修改 3.5% 的权重后，车辆在测试中全部成功。

对于语言模型的故障，比如 Qwen 反复推理的问题，Astra 也能定位并修改。Qwen 经常反复生成相似的推理步骤，耗尽 Token 预算却无法输出答案，研究者发现这是内部循环特征导致的。Astra 读取权重后，通过比较正常和重复生成时的内部状态，定位到第 15 和 19 层 MLP 中的相关参数，从两层各 64 个输出列中减去循环相关的方向，仅修改了 0.016% 的权重，就让 Qwen 的 MATH-500 成绩大幅提升，GSM8K 和 IFEval 成绩也同步提高。

这项研究的意义远不止模型维护：它让 AI 改进 AI 有了不依赖梯度下降的新通道，梯度训练需要大量数据和算力，而权重编辑可以在推理上下文里直接完成。未来，随着技术的成熟，模型可能像软件一样接受局部补丁，训练负责赋予模型能力，权重空间编程则让这些能力得到更直接的修复和调整。