MIT CSAIL近期推出权重空间编程的全新范式，打破传统大模型仅通过优化Prompt、Coding等间接调整神经网络的模式，让大模型能够直接读写、修改甚至生成网络权重，无需依赖梯度或传统训练流程。

研究团队利用GPT-6 Astra模型，直接修改Qwen3.5-0.8B模型0.016%的权重，修复了该模型的推理循环，使其数学运算能力提升6倍，指令执行能力提升3倍，完全无需梯度或训练。

优化对象从文本转向权重

过去，大语言模型更多聚焦于优化Prompt、代码和智能体框架，真正更新神经网络参数的仍依赖Adam等符号化优化器。权重空间编程则进一步推进了这一方向：通用大模型围绕自然语言目标，直接读取、修改甚至生成网络权重，不经过传统训练流程。

这并非将大模型包装成梯度优化器，而是在理解网络内部计算结构后，将目标程序翻译为参数。读取、修复、增强三项实验构成了研究的逐步升级过程。

仅通过权重，模型可读出网络的学习成果

第一组实验排除输入输出辅助，仅提供四个结构相同的游戏网络权重文本，Astra在不给出候选游戏名称的情况下全部猜中，抓住了第一层权重的空间分布和输出层动作区分方式。

扩散模型实验更进一步：Astra未运行前向传播，仅从输出层权重重建出圆、方形和三角形的边缘轮廓，依据的是参数中的几何结构，而非偷看生成结果。

真正的难点在中间层：团队移除三个小型语言模型的输入输出层，仅保留四个Transformer块，Astra仍正确识别Python、罗马字日语和英语训练来源，准确找出全部复制头，无其他误报。

从读懂到修改，权重成为可编辑程序

能解释参数，不代表能修改参数：团队给Astra一个陷入局部最优的PPO小车策略——小车径直冲向坡道却不会先后退蓄力。Astra根据场景、权重和失败轨迹，添加跨层小通路，用位置与速度触发后退动作。

结果显著：仅改动3.5%的权重，一次调整就让小车成功率从0提升至1024次测试全部成功，原有训练策略保留，新通路仅在需要时接管。

接着，团队让Astra从零写出三个MinAtar游戏网络，无数据、损失、梯度和试玩反馈。手写网络全部超过训练1亿步的PPO；面对训练5亿步的PPO，Breakout得分约为其20倍，Asterix接近，Seaquest达六成。关键是先推理出落点预测、挡板跟随等程序，再转为网络结构。

工具介入后，实验扩展到真实模型

当参数规模超出上下文，团队加入Python沙箱和有限次前向评估。在9路围棋任务中，Astra手写约148万参数的网络。零次评估时已能战胜两个小型PPO；经50次评估修改后，击败同规模、训练2000万盘的PPO。

语言模型实验暴露边界：面对相同微调的诚实版与谄媚版Gemma 3 270M，Astra仅靠权重无法区分；获得自写文本的注意力模式后，成功识别全部三组模型。谄媚模型中层注意力头偏向用户答案而非题目数字。

最引人注目的是Qwen3.5-0.8B：Astra将循环生成定位到第15、19层MLP的方向，从每层64个输出列中减去该方向。仅编辑131072个参数（总量0.016%），经50次评估后，MATH-500准确率从7.9%升至48.1%，GSM8K从13.8%升至67.1%，IFEval从21%升至62.3%，token上限触及率从93%降至33.1%。

能力边界决定研究方向

Qwen的提升并非权重编辑凭空创造数学能力。在Gemma 3 270M实验中，Astra面对普通算术与代数错误，找不到可统一切除的故障方向，多轮小幅编辑未带来可靠提升。

这组对照划出当前方法的边界：它擅长解除掩盖已有能力的结构性阻塞，但无法替代学习过程注入模型原本不具备的能力。同时，纯权重读取在谄媚模型识别上的失败，说明中间层行为仍需合适的观测工具。

因此，这项研究开辟了新的工程路线：权重审计、零数据能力调节、定向遗忘和跨架构电路移植都有了验证入口。团队正构建基准与执行框架，下一步需验证这些能力的稳定性，以及在更大模型和复杂任务上的扩展性。