扩散大模型"任意顺序"陷阱被改写：JustGRPO算法提升推理性能

7月5日，由阿里巴巴与清华大学联合完成的论文《灵活性陷阱：重新审视扩散语言模型中任意顺序生成的价值》成功入选AI顶会ICML 2026的杰出论文名单。作为ICML的最高学术荣誉，杰出论文每年仅授予2到3篇作品，获奖率仅为收录论文的千分之一，代表了当年度AI领域最具影响力的前沿研究成果。

作为当下备受关注的下一代大语言模型架构，扩散大语言模型（dLLM）吸引了全球学界和产业界的目光，比如谷歌的Gemini Diffusion、中国人民大学研发的LLaDA都属于这一技术方向。和GPT、Qwen等主流自回归大语言模型不同，传统LLM生成文本时遵循从左到右的固定顺序，类似逐字打字的过程；而dLLM支持任意顺序生成token，理论上拥有更广阔的解空间，因此在近一两年被寄予了极高的期待。不过这次的合作研究首次对这一主流认知提出了质疑：在解决数学、编程等通用推理任务时，任意顺序生成不仅无法提升模型能力，反而会成为阻碍性能提升的陷阱。

研究团队通过深入分析发现，在推理过程中，带有高不确定性的关键逻辑节点——比如“因此”“所以”这类承上启下的转折词位置，相当于推理路径的分叉口。如果采用传统的从左到右生成顺序，模型必须在该节点当场做出决策，生成下一个token，无法跳过难点直接处理后续内容；但如果使用任意生成顺序，模型往往会选择绕过这些高难度的逻辑节点，优先完成简单部分的文本生成。等到回头补全这些关键节点时，前后文的语境已经完全固定，原本需要主动选择的推理分叉口，就变成了根据上下文填空的任务，模型的自主选择权被彻底消解。

研究者将这种选择权被消解的现象命名为“熵退化”，并通过大量实验验证了这一结论。在HumanEval代码生成基准测试中，采用从左到右顺序可以正确解出、但任意顺序无法完成的题目占比达到21.3%；而反向的情况——即任意顺序可以解出但固定顺序无法完成的题目仅占0.6%。同时实验数据还显示，dLLM的生成顺序自由度越高，模型的通用推理性能反而越差。

基于这一核心发现，研究团队提出了名为“JustGRPO”的极简训练方案，其核心思路是在强化学习训练阶段放弃任意生成顺序，强制模型遵循从左到右的生成逻辑，仅使用GRPO算法即可完成训练。GRPO是当前主流的强化学习优化算法，通过让模型对同一道任务生成多组候选答案，再通过组内的优劣对比来迭代优化模型的生成策略。

在此之前，为dLLM设计适配的强化学习算法一直面临诸多工程挑战，比如生成顺序不固定导致无法准确归因每个token的贡献，因此各团队不得不引入大量复杂的优化手段。而JustGRPO的思路堪称大道至简，就像当所有人都在刻意强化左手的力量时，有人提出“为什么不直接用右手？”一样，直指dLLM训练的核心误区。

经过JustGRPO训练后的模型，不仅推理速度没有受到任何影响，通用推理性能还得到了大幅提升。在GSM8K这一业界通用的大模型推理能力测试集（包含约8500道多步推理小学数学应用题）上，该模型达到了89.1%的准确率，全面超越了d1、ESPO、SPG、GDPO等所有专为扩散模型设计的复杂强化学习算法。

感兴趣的读者可以通过arXiv链接https://arxiv.org/abs/2601.15165获取完整论文内容。

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/

AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。