不用反向传播训练Transformer：Dust零阶优化获突破

训练大模型，真的可以不用反向传播吗？

反向传播作为训练神经网络的核心算法，已统治该领域多年。如今几乎所有的模型架构、优化器，甚至专用的GPU硬件，都围绕反向传播的特性设计，成为默认的训练范式。但反向传播存在明确的局限性：它要求整个网络处处可微，这意味着不可微的模块、离散计算或外部程序，都无法接入训练流程。

随着算力成本逐渐降低，一些研究者开始探索更“蛮力”的训练思路：不计算梯度，而是随机修改网络，观察损失变化，保留让模型性能提升的方向，舍弃效果变差的尝试。这种方法虽简单，却不依赖任何可微性假设，理论上可以适配任何结构的模型。

小型研究实验室Q Labs近期推出了名为“Dust”的零阶优化方法，这是首个在Transformer预训练任务上能与反向传播正面竞争的零阶算法。

Dust的核心思路是避开权重扰动，转而在Transformer的激活空间添加噪声：它不修改模型权重，而是给每一层的输出激活值添加高斯噪声，且每个token独立生成扰动。这样每个token就相当于一个“虚拟实验个体”，一次前向传播就能并行评估数千个个体，研究团队将这套机制称为“虚拟种群”。算法会根据噪声带来的损失变化分配奖励，再将奖励加权平均得到梯度估计。

Q Labs宣称，当种群规模足够大时，Dust能很好地近似反向传播，甚至在部分设置下表现更优。团队认为，这一结果暗示在计算资源充裕的场景中，或许可以超越反向传播的局限。

不过，Dust目前的瓶颈十分明显：计算成本过高。研究团队坦言，Dust的开销远高于反向传播，需要再降低几个数量级才有可能谈替代。当前实验的最大规模仅为2.43亿参数、2000万token的训练预算，与工业界千亿token级别的预训练需求仍有很大差距。

第三方研究团队的复现结果也相对保守：在论文设定的基础SGD比较中，Dust的结果可复现，但与反向传播的差距很小，未体现出论文强调的优势；当反向传播换上合适的优化器，或允许多轮训练后，反向传播的表现会明显领先，且计算成本更低。这意味着，Dust的核心价值是证明零阶方法可用于Transformer预训练，而非当下替代反向传播。

Q Labs的研究动机源于“苦涩的教训”这一经典观点：随着可用算力增加，依赖巧妙归纳偏置（如可微性、反向传播）的方法，往往会输给“通用的、依赖算力的暴力搜索”。AlphaGo Zero的案例就是典型：基于人类棋谱的版本上手更快，但纯自我对弈的版本在充足算力下反超。团队认为，反向传播正是低算力时代的“好偏置”，它让学习更高效，但在高算力时代，反而限制了可探索的架构空间。

进一步来看，这也能解释为何当前神经网络需要海量数据才能泛化：梯度方法未能充分探索损失空间，而基于搜索的更灵活的信用分配算法，可能是提升泛化能力的关键。因此，Dust的目标极具野心：用更依赖暴力计算、更少依赖解析结构的算法，替换反向传播。

为了避免大规模并行时的噪声干扰，Dust设计了多项优化：不同类型的层分开执行扰动计算，缓存未扰动的中间结果；注意力模块的扰动效果通过注意力输出变化和误差信号判断；语言模型输出头直接在缓存的Logits上扰动，仅重新计算相关损失。这些优化让Dust将传统进化策略中昂贵的权重采样，转化为Token级激活扰动，大幅降低了采样成本。

在实验中，Dust的表现验证了其设计思路的有效性。研究团队在FineWeb数据集上训练Transformer，将Dust与反向传播、进化策略EGGROLL对比。结果显示，随着种群规模扩大，Dust的训练效果持续提升，部分场景下超过反向传播。与EGGROLL相比，Dust的优势更为明显：即使EGGROLL使用16384个种群成员，效果仍不及仅用64次扰动采样的Dust，采样效率差距达256倍。

更值得关注的是，当模型参数量从200万扩大到2.43亿（约120倍）时，Dust仍能有效训练。在较大种群规模下，3800万和2.43亿参数模型的测试损失，反而低于最小的200万参数模型，且大模型能从增加采样次数中获得更多收益，这打破了“零阶优化难以扩展到大型神经网络”的固有印象。

研究团队还对比了Dust估计的梯度与反向传播的梯度，发现随着采样规模增加，两者方向越来越接近，即使模型训练了较长时间，这一趋势依然存在，说明Dust可通过扩大种群规模获得持续有用的梯度信号。不过，当前结果仍有边界：Dust仅在2.43亿参数模型上验证，最大训练预算为2000万token，部分优于反向传播的结果来自曲线拟合，尚未在真实训练中实现。

Q Labs是一家聚焦于算力与数据效率的研究团队，其研究主线是“不给模型更多数据，只给更多计算，能否学得更好”。实验室的核心方向包括数据效率与泛化能力，投资者中包括知名研究者Jeff Dean。

Dust是该团队系列研究的最新成果：此前推出的NanoGPT Slowrun固定数据预算，探索如何高效利用有限数据；随后的q0让多个模型在同一份数据上相互学习，组合预测，数据效率相对基线提升约12.9倍。到Dust，团队进一步将问题推进：如果更换训练方法，更多算力能否带来新的突破？

团队联合创始人的背景也体现了其研究方向：Samip Dahal曾参与AI编程工具相关工作，Akshay Vegesna曾在自动驾驶公司负责神经网络相关系统。此外，团队的研究推进方式也很有特点：论文发布后会同步开放代码和公开竞赛，Dust发布后，他们推出了不允许使用反向传播的Noise speedrun，推动社区继续优化算法。

对于Dust的未来，团队创始人Samip Dahal表示，目前它仍远不如反向传播高效，但随着算力增加，依赖搜索的零阶方法有望持续进步，甚至最终替代反向传播。社区的优化速度也超出预期：Noise speedrun的训练用时在十天内从约1.76小时降到了1.6秒，提速约4000倍。不过，部分加速技巧无法扩展到更大规模，当模型更大、训练更充分、目标损失更低时，Dust的更新方向是否有效，需要进一步验证。

Dust已经证明了不依赖反向传播训练Transformer的可行性，接下来的实验将告诉我们这条道路的潜力究竟有多大。