文章摘要
传统扩散模型依赖开环模仿学习,在复杂任务上存在性能瓶颈,将其与强化学习融合正推动生成式AI向闭环目标决策范式转变。多所顶尖机构联合撰写的相关综述已被计算机视觉顶刊接收,系统梳理了该交叉领域的理论基础、优化路径及在多模态、具身智能、科学计算等领域的应用进展。

在生成式人工智能的发展历程中,扩散模型凭借其对复杂连续数据分布的精准建模能力,迅速在图像、视频及音频合成领域确立了核心地位。然而,传统扩散模型长期依赖“开环模仿学习”范式,通过预训练与监督微调最小化重建损失,这种静态数据驱动的机制,使得模型在面对长程组合推理、多约束严格遵从、细粒度人类主观偏好以及自主路径规划等复杂任务时,暴露出不可忽视的性能瓶颈。

正如大语言模型通过后训练阶段的强化学习实现智能跃升一样,将强化学习与扩散模型深度融合,正推动生成式系统从“开环静态模仿”向“闭环面向经验的目标决策”发生深刻范式转变。由多个顶尖学术机构联合推出的26页长篇综述《强化学习驱动的扩散模型:语言、视觉与 beyond》,已被计算机视觉领域的顶级期刊接收。该综述对这一处于爆发期的交叉前沿进行了系统性的理论解构与前沿梳理。

该研究将全面拆解该综述呈现的技术全景、核心数学桥梁、各模态关键突破及未来落地所面临的系统级瓶颈。

背景与动机:扩散模型为何走向强化学习?

发展纪元的演进:从预训练到强化学习后训练

研究人员梳理了扩散模型自2015年至今的技术演变轨迹,从早期的SMLD、DDPMs到潜空间扩散模型、扩散Transformer以及连续流匹配,传统范式主要聚焦于网络架构革新与预训练规模扩展。

然而,单纯依靠数据似然极大化存在天然局限:

  1. 分布外探索受限:基于重建损失训练的模型,倾向于输出训练集中的平均样本,无法在奖励指引下主动探索并强化长尾的高质量生成路径。
  2. 非可微与主观目标难以直接反传:用户审美偏好、代码可执行性、物理守恒定律或机器人碰撞惩罚等信号,通常不具备直接对像素求导的闭式解析式。
  3. 推断期计算缺乏扩展性:传统扩散仅依靠去噪步数缩放,缺乏像语言模型那样的链式思考与动态试错自修正机制。

为此,研究社区逐步引入了基于人类反馈的强化学习、直接偏好优化,并在近期加速迈向由可验证奖励与组相对策略优化驱动的全新纪元。

理论基石:扩散去噪链与马尔可夫决策过程的映射

理解强化学习驱动扩散模型的核心前提,在于厘清去噪动力学与马尔可夫决策过程在数学上的同构性。经典的有限步离散去噪过程可以直接映射为一个标准的马尔可夫决策过程元组:状态空间与动作空间对应去噪过程的时间步加噪潜变量,动作对应去噪网络单步预测的转移目标或瞬时速度向量;转移概率遵循环境的确定性更新规则;策略网络直接等价于逆向去噪条件概率分布;奖励函数则在多数生成任务中,全局奖励在终止去噪步时给出,或通过Tweedie估计及过程奖励模型向各中间时间步进行信用分配。

在优化方法上,社区主要分化出三大技术支线:

  • 基于奖励的显式策略优化:利用判别式奖励模型或外部规则评估生成轨迹,利用策略梯度公式进行参数更新。其中组相对策略优化通过采样同条件下的输出组,利用组内平均和标准差构建相对优势,彻底规避了额外训练参数庞大的价值网络。
  • 免奖励模型的直接偏好优化:基于布拉德利-特里模型闭式解析解,绕过独立奖励模型,直接利用正负成对样本对去噪隐变量的对数比率进行差分对比更新。
  • 面向可验证奖励的强化学习:利用外部编译器、几何约束、光学字符识别等明确逻辑作为奖励反馈,为扩散模型注入严谨的符号推理与物理一致性。

语言维度:离散扩散大语言模型

传统的自回归语言模型遵循从左至右的因果解码。而离散扩散语言模型则将文本生成建模为由全局掩码标记逐渐解掩码的非因果并行重构过程。

正交分类维度:轨迹粒度与奖励密度

在离散扩散语言模型中应用强化学习的关键难题在于:缺乏自回归模型的单向概率链式分解,如何为多步并行解掩码计算似然、控制梯度方差并实现有效信用分配?该综述首次提出了由轨迹层级与奖励密度构成的二维正交技术图谱。

  1. 轨迹层级:
    • Token级:对每个被掩码位置的单词预测概率进行似然估计,计算细粒度策略梯度。
    • 短语级:将连续的思考子句或语法短语作为原子动作进行补全与评估。
    • 序列级:把整个去噪序列视作一步宏观动作,使用证据下界近似序列级似然。
  2. 奖励密度:从单极结果奖励、正负对立双极目标,延伸至多步加权平均奖励与逐步密集过程奖励。

在基准测试中,未经强化学习的基础模型在复杂推理上表现薄弱,但引入强化学习后训练后,推理与代码指标呈现跨越式提升:数学与逻辑推理任务中,相关方法在经典基准上取得显著准确率;规划与约束求解任务中,在24点倒计时、数独等任务上大幅超越未微调水平;程序合成任务中,在代码生成评测中斩获高分。

视觉与多模态:从感知拟合到高维协同

在图像、视频等高维连续感知空间,生成的核心痛点不仅在于画面质感,更在于精准遵循复杂的提示词组合以及维持物理连贯性。

图像生成与编辑

图像生成的优化范式已由早期全局结果对齐向动态过程控制演进:全局结果对齐将成对偏好直接注入去噪扩散,过程级控制引入中间洁净估计实现时间步维度的信用拆解,量化实效上在多个基准任务中大幅提升组合推理评测得分与OCR文本渲染准确率,在工业级系统中实现评分净增。

视频生成与物理一致性

时序维度的引入带来了动作平滑度、闪烁伪影及物理规律违背等严峻挑战。相关方法通过构建动态平滑度和主体一致性偏好对,使视频综合评分提升,在动作质量评估中实现显著改进;同时引入显式几何重投影与物理动力学反馈,有效遏制了视频生成中物体异常穿模与形变。

具身智能与机器人:策略优化与物理闭环

在机器人领域,传统高斯或多层感知机参数化策略受限于单峰假设,在面对灵巧操作与复杂避障等多模态动作空间时极易崩溃。扩散策略与视觉-语言-动作模型的出现彻底打破了这一桎梏。

离线与在线扩散强化学习

该综述系统解构了扩散模型在离线与在线机器人控制中的融合历程:在线探索微调针对去噪轨迹进行策略更新,动态分配去噪步数以权衡运算耗时与操作精度;离线轨迹正则化与规划则开拓了以去噪轨迹替代传统动态规划的思路,在多个基准任务中展现出对复杂多模态动作数据分布的捕获优势。

视觉-语言-动作模型中的生成式动作专家

针对以流匹配为代表的流匹配动作专家,强化学习后训练摆脱了对高质量专家演示数据的强依赖。相关方法确立了流匹配视觉-语言-动作模型的在线策略优化机制,利用世界模型实现了拉格朗日约束下的安全策略探索,推动了仿真闭环中具身决策水平的自主进化。

科学计算探索:面向物理与分子先验

扩散模型在科学智能领域的应用,正在从拟合观测数据演进为在第一性原理约束下进行定向生成。该综述按数据模态归纳出五大前沿阵地:离散分子序列、连续3D药物构象、周期性晶体材料、偏微分方程物理场、医学科学成像逆问题,各模态方法通过引入领域特定奖励,实现了符合物理规律的定向生成。

在复杂任务的性能突破方面,相关方法在数学推理、规划求解、程序合成等任务中均实现了显著提升,为生成式系统的进一步发展奠定了坚实基础。

以上内容不代表本平台立场,仅供读者参考