当前多模态音视频生成模型的强化学习后训练面临一个核心难题：即便训练脚本可以正常运行、损失函数有数值、奖励曲线出现上升，也无法保证整条链路的正确性——任何一个环节的静默错误都可能让训练走向错误的方向。本文详细记录了基于通用多模态RL训练框架，完成MiniMax-H3的文本到音视频（T2VA）与首/尾帧条件音视频生成（FL2VA）在线RL训练闭环的完整实践。

一、技术基础：模型与算法选型

1.1 MiniMax-H3的联合生成特性

MiniMax-H3是当前开源社区中表现突出的多模态音视频生成模型，支持接收文本、图像等输入，直接输出带有原生立体声音轨的完整视频，最长支持15秒生成、最高2K分辨率、24FPS帧率与32kHz立体声采样率。在权威评测榜单中，该模型以Elo评分1227位列前三，且是榜单前列中唯一开放全部权重的模型；在2K分辨率下，单秒生成成本仅为主流模型的三分之一。

该模型的开源权重可直接用于各类垂类微调，比如优化广告视频与品牌文案的匹配度、提升游戏CG的音画同步性、稳定特定风格的生成效果。不过针对这类联合音视频生成模型做RL后训练，最大的挑战并非选择算法或设计奖励函数，而是如何验证整条训练链路的正确性。

MiniMax-H3的输出并非单独的视频张量，而是同时包含视频隐空间与音频隐空间的联合结果，最终一并解码为带音轨的完整视频。这一特性决定了RL训练的两个核心约束：一是奖励信号必须同时评估画面与音频质量，不能仅单一模态；二是训练框架必须保证音频与视频在采样、奖励计算、数据存储、训练批次的流转过程中不会出现静默丢失。

此外，该模型的DiT主干存在几处与通用约定不同的设计：推理时无需负提示的CFG-distilled机制、使用数据占比而非通用流匹配的sigma作为时间步、速度符号方向与通用流匹配相反，这些细节在接入训练框架时极易成为隐藏的陷阱。

1.2 DiffusionNFT算法原理

DiffusionNFT是一种面向扩散/流匹配模型的在线RL方法，其核心思路是不在反向采样链上估计策略梯度，而是将奖励信号注入前向扩散过程的监督式流匹配目标中。

在采样阶段，仅保留最终生成的干净隐空间向量、提示嵌入与训练用的时间步；在训练阶段，重新执行前向加噪过程，将奖励信号转换为奖励概率，使高奖励的样本更接近正向目标，低奖励样本则受到反向约束。

选择该算法作为第一阶段的接入方案，主要是因为其链路更短：无需在采样端记录每一步转移的对数概率，可以逐一验证三个核心事实：一是采样端是否同时生成了视频与音频数据；二是奖励模型是否接收到完整的音视频数据；三是Actor网络更新后的LoRA权重是否能正确同步到下一轮采样策略中。

随着FL2VA任务的接入，T2VA与FL2VA可以共享采样、奖励计算、Actor训练与LoRA同步的主干链路，二者的差异仅在于条件帧输入与训练损失的掩码范围。

二、实验设计与配置

本次实验的核心目标并非追求顶尖性能，而是验证联合音视频模型的RL训练链路是否可以稳定跑通，确保音视频数据、奖励信号与策略更新之间没有出现静默错配。实验围绕四个核心问题展开：

• 联合输出是否完整：采样返回的视频与音频是否同时进入数据存储、奖励计算与训练批次流程
• 奖励信号是否有效约束音画质量：文本与音频、音频与视频的对齐是否符合预期
• 策略更新是否正确同步：Actor侧的LoRA更新后，旧的采样策略是否能按照预定调度刷新
• 条件帧是否被正确处理：FL2VA任务中输入的关键帧是否被保留为条件，而非被扩散目标重新优化

需要注意的是，解读实验结果时必须结合奖励曲线、子奖励指标、固定样本的生成结果与训练日志，单一指标的上升无法证明整体生成质量的提升。

2.1 两类任务：T2VA与FL2VA

本次实验包含两种核心任务：

T2VA用于检查文本、运动和音画的语义对齐，FL2VA则进一步测试模型能否在关键帧约束下补全中间运动与音轨，适合角色一致性、镜头衔接和广告素材延展等任务。FL2VA的采样端使用官方的首/尾帧协议，确保条件图像对应的隐空间保持固定，扩散NFT的前向过程目标仅施加在非条件的视频与音频隐空间上，避免模型错误地重写给定的关键帧。

2.2 数据集与条件图构建

T2VA的数据集仅需要纯文本提示，可通过转换工具将每行一个提示的纯文本文件或带prompt字段的JSONL文件转换为训练与测试用的parquet格式。

python3 examples/diffusionnft_trainer/minimax_h3/prepare_t2va_data.py --input_dir /path/to/raw_prompts --output_dir /path/to/h3_t2va_data

FL2VA则使用公开的ConsisID提示列表构建条件图数据，该列表包含27815条英文视频描述，每条提示通过固定seed与索引生成对应的参考图像，再通过同一索引配对提示与图像，确保训练测试划分与条件帧的可复现性。具体流程包括：使用生成模型生成首帧图像、按seed划分训练与测试集、将条件图像与提示打包为parquet格式。最终得到27687条训练样本与128条测试样本，采样时会通过缩放算法将条件图缩放至目标尺寸，无需额外处理。

2.3 奖励信号设计

本次实验采用多奖励加权的方式，包含两个核心指标：

• CLAP：用于评估文本与生成音频的语义对齐度，验证声音是否符合提示描述
• ImageBind audio-video：用于评估音频与视频的场景匹配度，验证声音是否与画面内容一致

仅使用单一奖励会存在明显的优化漏洞：仅使用CLAP无法约束画面质量，仅使用ImageBind则可能生成音画一致但与文本无关的内容。二者联合使用可以覆盖文本-音频与音频-视频的核心对齐关系，但仍无法完整评估生成质量。奖励信号会先通过全局标准差归一化转换为奖励概率，作为扩散NFT的训练目标。

2.4 可复现训练配置

本次实验的核心配置经过端到端验证，可直接用于复现：

三、训练流程实现

MiniMax-H3可以较为顺利地接入通用RL训练框架，得益于模块解耦的设计：

• 采样模块负责生成：保留模型原生的去噪循环，同时返回训练所需的核心状态，避免训练与推理的逻辑不一致
• 训练编排框架负责整体流程：将采样样本送入奖励计算、转换奖励信号、更新Actor网络并同步LoRA权重
• 模型适配器负责处理专属约定：包括隐空间拆分、时间步转换、速度符号统一与LoRA映射

3.1 T2VA训练启动

配置模型路径、数据目录、GPU数量等环境变量后即可启动T2VA训练，默认配置下的训练分辨率为256x384，验证分辨率为512x768。需要注意的是，模型路径需要包含采样用的检查点目录与训练用的模型目录。

3.2 FL2VA训练启动

FL2VA使用独立的图像条件采样适配器，无法直接复用T2VA的启动脚本。完成数据转换后，确认数据目录下包含训练与测试parquet文件，配置对应的帧索引后即可启动训练。FL2VA的训练分辨率为288x448，验证分辨率为576x928，同样需要确保边长为32的倍数。

3.3 关键配置细节

有两处核心配置需要特别说明：一是采样端需要返回NFT训练所需的核心状态，包括干净隐空间、训练时间步与隐空间元数据，FL2VA还需要额外携带条件帧的分段信息与帧索引；二是LoRA的目标模块不能直接使用all-linear，必须显式映射融合后的网络层，适配器会提前校验配置，错误时直接中止训练。

四、实验结果分析

本次实验的结果主要来自T2VA的在线训练run，核心目标是验证优化信号与系统链路的正确性，而非证明模型在所有任务上优于基础版本。

4.1 训练与验证指标

训练端的平均奖励从约0.27稳步上升至0.4以上，说明联合奖励信号可以形成可学习的组内偏好，但需要结合梯度范数、奖励概率等指标综合判断训练状态。在验证集上拆分CLAP与ImageBind得分，可以更准确地判断模型的优化方向。

4.2 FL2VA集成验证

FL2VA的run核心目标是验证条件帧链路的正确性，本次集成验证中，初始验证的核心奖励均值为0.41，经过3个以上训练步后升至0.51，梯度范数维持在稳定区间，人工检查确认首帧身份保留、提示场景与视频时间一致性均达标。

4.3 生成结果对比

我们从测试集中挑选样本，在相同seed与相同推理配置下，分别使用基础模型与微调后的模型生成音视频，对比运动一致性、音画对齐与视觉细节稳定性。结果显示，微调后的模型在指定维度上有明显优化，证明训练链路确实有效。

五、经验总结

本次实践中耗时最多的并非流程本身，而是两类容易被忽略的问题：接入模型时不报错的静默错误，以及强基础模型在RL训练下的奖励黑客倾向。

5.1 静默错误排查

接入MiniMax-H3时，最危险的错误是“可以正常运行但训练方向错误”的问题，我们在多个环节进行了排查并总结了对应解决方案。其中三条经验尤为关键：

• 时间步约定错误不会直接报错，需要逐点核对公式与调度器约定
• LoRA注册成功不等于采样端生效，必须显式映射融合后的网络层
• 音频最容易在链路中段静默丢失，需要全程透传音频数据并验证导出结果

5.2 核心结论

针对MiniMax-H3这类联合音视频模型做RL后训练，最难的是确认每一个环节都正确运行。本次实践回答了四个核心问题：

• RL训练信号从何而来：DiffusionNFT将偏好优化转化为前向过程约束
• FL2VA如何纳入主干链路：通过条件帧协议固定隐空间，共享训练基础设施
• 接入时的核心风险：静默错误而非直接报错的问题
• 验证训练正确性的方法：结合多维度指标与人工审查

总体而言，针对MiniMax-H3的RL后训练，应当先验证容易出错的核心环节，再进行效果调优。链路跑通后，针对垂类场景进行针对性微调，即可获得可靠的生成效果。本次实践的所有代码与配置均已开源，可通过官方仓库复现。

参考资料

1. DiffusionNFT相关学术论文
2. 开源模型与训练配置文档
3. MiniMax-H3模型官方仓库