权重空间编程：MIT团队大幅提升千问小模型性能

最近，MIT CSAIL 团队的研究人员开展了一项名为“权重空间编程”的前沿实验，让一款名为 Astra 的模型直接操作神经网络的权重，而非依赖传统的梯度下降或训练循环，实现了对小模型性能的大幅优化。

研究团队选择了参数量仅0.8B的千问3.5-0.8B模型作为测试对象，Astra仅修改了约0.016%的权重，就将该模型在数学测试集500上的准确率从7.9%提升至48.1%，达到原性能的6.1倍；指令遵循评估测试的得分也从21.0%升至62.3%。

实验中发现，该小模型存在容易陷入重复推理循环的通病——最初的96份练习题回答里，有85份会一直输出到32768 token的上限，无法生成有效答案。Astra通过分析模型的运行表现和内部计算，定位到编号15和19的两层MLP结构，调整了与循环行为相关的方向，解决了这一问题。

为验证方法的普适性，研究团队还测试了另一款不易陷入循环的Gemma 3 270M模型，但Astra仅识别出算术错误和代数步骤问题，未能找到可直接修改的共性部件，因此性能提升不明显。这组对照实验显示，修复计算故障与补充数学知识是两类难度不同的任务。

除了修复已有模型，研究还测试了Astra读取神经网络权重的能力。他们训练了四个分别玩打砖块、乒乓球、吃豆人、过马路的小游戏网络，将所有权重直接交给Astra，不提供候选答案和工具，Astra成功识别出每个网络对应的游戏类型。例如，打砖块网络对底部位置的特殊反应对应球拍位置，输出层则区分不同移动动作，Astra通过这些数值分布推断出了游戏规则。

另一项直观实验中，一辆被斜坡卡住的小车仅会向前顶而无法通过，Astra结合场景、权重和失败轨迹，在网络中添加了一条读取位置和速度的计算路径，让小车先倒车助跑再向前。这次仅修改了3.5%的权重，原策略在256局测试中无一次成功，修改后的策略在1024局测试中全部成功，“先倒后冲”的策略被直接写入了神经网络。

研究还尝试让Astra从零构建神经网络，针对三个迷你街机小游戏集的规则和结构，Astra无需运行游戏或试错，直接输出权重方案。以打砖块为例，它设计了球拍移动策略，第一层计算球的落点，第二层控制球拍移动。对比实验显示，Astra生成的网络在打砖块游戏中的得分超过了训练1亿步的近端策略优化算法模型，即便该算法训练5亿步，Astra的方案仍保持明显优势。

研究人员指出，Astra并非总能完全理解权重——在区分两个微调后的Gemma模型时，仅看权重无法判断哪个更倾向于迎合用户，需结合注意力分布才能分辨。这说明权重、激活、运行轨迹和测试反馈需结合使用，但核心变化是操作对象从模型外围转向了内部计算，为模型自我改进提供了新的方向。