清华团队SAFLOW论文获NeurIPS 2026 破解具身智能策略似然难题

生成式策略是当前具身智能领域中重要的动作接口，它能够表达复杂的多峰动作分布，却在应用于在线强化学习时面临一个容易被忽略的核心问题：策略不仅需要生成动作，还必须准确回答这个动作在当前策略下的概率是多少。清华大学车辆学院与人工智能学院的研究团队针对这一问题，提出了名为Self-Adjoint Flow Policy Optimization（简称SAFLOW）的全新方案，该成果已被NeurIPS 2026接收，OpenReview平台的评审评分达到了5/5/5/4（6分制）。

针对生成式策略应用于在线强化学习的痛点，SAFLOW的设计思路源于几何数值计算中的保辛结构保持思想：让离散算法保留连续动力系统的内在结构，使长期计算保持可靠的整体行为。在哈密顿系统中，这种思想集中体现为“保辛”，通过保持相空间的辛几何结构，避免普通数值方法在迭代中出现的轨迹漂移或收缩问题，Verlet方法正是这类结构保持算法的典型代表。

传统流匹配策略在计算动作概率时，需要逆向恢复基础噪声并计算流变换的雅可比行列式，常用的显式欧拉法是一阶非时间对称的离散更新，直接反转步长无法严格撤销正向更新，导致数值偏差传递到对数似然、策略比率和优化目标。而生成式策略要落地在线强化学习，需要同时满足三个核心要求：能够表达复杂的动作分布、准确计算动作似然、支撑稳定的在线优化。SAFLOW的研究切入点，正是让动作采样与似然评估沿同一条数值路径往返，实现两者的一致性。

SAFLOW将原本d维的动作空间扩展为由一对虚拟变量构成的2d维表示，两个分量通过交替耦合完成动作生成，随后再映射为环境实际执行的动作。每一步流变换采用Verlet风格的“kick-drift-kick”对称组合：先对一个分量推进半步，再对另一个分量推进整步，最后对第一个分量推进半步。正向生成使用步长h，逆向计算则按相反的时间顺序，以步长-h执行同一套规则，即可得到对应的精确逆映射，这种性质被称为“自伴随”。

自伴随性质带来的关键结果是：在离散数值层面，初始高斯噪声与最终生成的扩展动作之间形成精确可逆的一一对应。对于任意一个由策略生成的动作，沿同一套Verlet规则反向计算，都可以恢复出对应的初始噪声；而初始噪声服从密度已知的高斯分布，因此只需结合各步流变换，通过变量替换公式便可得到该动作在当前策略下的似然概率。这条可逆路径避免了额外使用近似的逆向求解器，动作采样与概率评估对应同一个离散策略，为后续构造可靠的新旧策略比率提供了基础。

进一步的理论分析显示，Verlet的对称更新让正向和逆向共享同一套离散规则，主要的一阶误差项能够相互抵消，相比理想连续流的全局误差仅为O(h²)，而一阶交替更新的全局误差仍为O(h)。这种精度优势会传递到整个优化链条：更一致的离散映射 → 更准确的似然评估 → 更可靠的策略比率 → 更稳定的在线优化，这也解释了为什么SAFLOW的结构设计能够真正适配在线强化学习的需求。

在实验部分，研究团队在NVIDIA Isaac Lab的8项连续控制任务上开展测试，覆盖人形机器人、机械臂、灵巧手、四足机器人、四旋翼等多种具身控制场景，对比方法包括经典高斯策略的PPO、TRPO，以及生成式策略方法FPO、GenPO。实验结果显示，SAFLOW在所有任务中均取得最高平均回报：人形控制任务中，Humanoid的平均回报从最佳基线的218.44提升至329.60，相对提升约50.9%，Unitree-H1也从26.36提升至29.21；机械臂与灵巧手任务中，高维度的Shadow Hand平均回报从7188.21提升至7984.18，Franka Arm从143.53提升至155.57。此外，SAFLOW在多个任务中更快达到较高回报，学习曲线的波动范围也更小。

在大规模并行采样的拓展实验中，当GPU并行环境数量达到1024及以上时，SAFLOW相比PPO和GenPO的优势更加明显，且随着并行规模继续扩大，性能收益进一步增长，这为依托GPU并行仿真开展大规模具身控制训练提供了有力支持。消融实验也验证了自伴随积分结构的作用：在相同网络结构和辅助模块下，二阶自伴随版本持续取得更高回报，体现了时间对称的Verlet式积分结构对策略学习的直接贡献。

SAFLOW的提出，让生成式策略从单纯的动作生成器，转变为能评估、能训练、能持续优化的具身智能动作接口。它既具备表达复杂多峰动作分布的能力，又能通过自伴随映射实现动作似然的准确计算，同时将二阶一致性延伸到策略优化目标，为生成式策略在在线强化学习中的应用提供了可靠的解决方案。未来，SAFLOW很适合作为视觉—语言—动作（VLA）模型的连续动作头，结合GPU并行仿真、真实机器人交互和人类反馈，可进一步用于具身智能模型的在线后训练，探索跨本体的控制能力。