一款开源的音频视频生成模型近日发布，名为MiniMax-H3-Turbo，它通过轨迹蒸馏、分布匹配蒸馏（DMD）和生成对抗网络（GAN）技术，实现了仅需4步的极速音视频生成。该模型提供4、6、8三个固定步数版本，支持文本生成音视频以及首帧条件生成，配套工作流还支持可选的尾帧设置。

联合音视频去噪：如何实现少步生成

MiniMax-H3-Turbo的少步化优化针对的是联合音视频去噪过程，而非单一的视频生成。其基座模型采用统一的多模态序列表示，由H3-Omni-Transformer联合预测视频与音频的潜在特征，再通过各自的变分自编码器（VAE）进行解码。共享主干网络承担跨模态建模任务，模态差异主要体现在输入输出层以及AdaLN等组件中。

在这类系统中，一次去噪更新会同时影响画面和声音的演化。步数减少后，每次更新需要跨越更大的噪声区间，既要构建画面结构与细节，还要维持跨帧运动与声音事件的对应关系。因此，MiniMax-H3-Turbo从采样轨迹、生成分布和感知质量三个层面提供训练约束，确保少步生成的效果。

轨迹蒸馏为学生模型提供跨噪声区间的状态更新监督：多步教师模型通过连续的小步更新，将噪声状态逐步推向数据分布；学生模型学习教师采样轨迹中的演化关系，使得一次更新能够近似教师多次更新的作用。对于固定步数的生成器，这种监督为有限更新次数内建立整体结构、条件信息和细节提供了参照标准。

分布匹配蒸馏（DMD）则将约束推进到分布层面：它利用目标分布与学生生成分布的分数估计差异，为生成器提供优化方向，使学生输出的整体分布接近目标分布。即使某条学生采样轨迹与教师不完全重合，仍可从生成分布是否合理的角度获得训练信号。轨迹监督与分布监督形成互补，前者关注不同噪声状态之间的演化，后者约束最终样本的分布合理性，分别为跨步更新和最终输出提供优化依据。

GAN直接作用于学生生成器的输出：判别器以学生生成结果为判别对象，对抗损失通过生成结果反向传播，优化学生参数，为少步输出引入感知真实性约束，改善视频纹理细节，缓解少步蒸馏中可能出现的过度平滑问题。三种训练信号分别对应状态更新、分布匹配和感知质量，共同服务于联合音视频的少步生成。

少步生成效果：与原版50步的对比

项目交互展示页面收录了9组提示词、11种配置和99段视频，包含该模型的4/6/8步版本、原版MiniMax-H3的50步配置，以及其他加速方案，可用于对照不同配置下的生成表现。其中4步版本的多场景时序展示可直观体现效果。

本地部署与推理

MiniMax-H3-Turbo支持通过Diffusers脚本或ComfyUI进行本地音视频生成，需使用支持CUDA的NVIDIA GPU。

环境安装

以下是经验证的环境配置，需确保NVIDIA驱动兼容：

pip install torch==2.11.0 torchvision==0.26.0 --index-url https://download.pytorch.org/whl/cu130
pip install "diffusers==0.40.0" "transformers==5.12.1" "huggingface_hub==1.27.0" accelerate peft safetensors av pillow
pip install modelscope

模型下载

该模型的权重需要配合原版MiniMax-H3的文本编码器、处理器和音视频VAE使用。以下命令可下载8步生成版本、8步参考生成版本及所需基础组件，无需下载原版Transformer和其他任务的重复权重：

modelscope download Wuli-Art/MiniMax-H3-Turbo \
  --local-dir Wuli-Art/MiniMax-H3-Turbo \
  --include "run_fl2va.py" "run_ref2va.py" \
    "turbo-8step/*" "ref2va-turbo-8step/*"
modelscope download MiniMax/MiniMax-H3 

–local-dir MiniMax/MiniMax-H3 

–include “model_index.json” “modular_model_index.json” 

“text_encoder/" "tokenizer/” “processor/" 

"vae/” “audio_vae/" "scheduler/” “audio_scheduler/*”
TURBO_DIR=“$PWD\mathrm{/}Wuli-Art\mathrm{/}MiniMax-H3-Turbo\mathrm{"}BAS{E}_{D}IR=\mathrm{"}$PWD/Wuli−Art/MiniMax−H3−Turbo"BASE​D​​IR="PWD/MiniMax/MiniMax-H3”

若仓库提示访问受限，需先使用具有访问权限的账号认证，后续命令在同一终端、执行下载命令的目录中运行。

文生音视频

使用8步版本生成视频及配套音频，提示词可同时描述画面、动作和声音：

python "$TURBO_DIR/run_fl2va.py" \
  --model "$TURBO_DIR/turbo-8step" \
  --components "$BASE_DIR" \
  --steps 8 \
  --prompt "A paper airplane glides through a bright classroom. Soft paper rustling and quiet classroom ambience." \
  --height 768 --width 1344 \
  --num-frames 124 --seed 42 \
  --output t2va.mp4

输出为包含H.264视频和AAC音频的MP4，帧率固定为24 fps，不单独输出WAV文件。

首尾帧生音视频

通过--image指定首帧，使用--last-image进一步约束尾帧；仅提供首帧时，删除尾帧参数即可。

python "$TURBO_DIR/run_fl2va.py" \
  --model "$TURBO_DIR/turbo-8step" \
  --components "$BASE_DIR" \
  --steps 8 \
  --image first_frame.png \
  --last-image last_frame.png \
  --prompt "The scene in the first frame comes to life and transitions naturally to the final frame. Gentle wind and ambient outdoor sounds." \
  --height 768 --width 1344 \
  --num-frames 124 --seed 42 \
  --output fl2va.mp4

--height和--width必须同时设置，--seed和--num-frames分别控制随机种子与生成帧数。

参考素材生音视频

Ref2VA使用独立的8步权重及推理入口，可通过多个参考图像约束人物、服饰等内容：

python "$TURBO_DIR/run_ref2va.py" \
  --model "$TURBO_DIR/ref2va-turbo-8step" \
  --components "$BASE_DIR" \
  --image person.png \
  --image outfit.png \
  --prompt "The person in the first reference wears the outfit in the second reference and walks naturally through a sunlit studio. Soft footsteps and quiet room ambience." \
  --height 768 --width 1344 \
  --num-frames 124 --seed 1 \
  --output ref2va.mp4

参考输入也支持--video reference.mp4，可附加--audio voice.wav提供音频参考，但至少需要一张参考图像或一段参考视频。Ref2VA默认开启CPU卸载，显存充足时可添加--no-cpu-offload。

切换4步或6步版本

6步版本使用独立Transformer；4步版本为适配器，还需下载原版Transformer：

modelscope download Wuli-Art/MiniMax-H3-Turbo \
  --local-dir "$TURBO_DIR" \
  --include "turbo-6step/*" "turbo-4step/*"
仅使用4步版本时需要下载
modelscope download MiniMax/MiniMax-H3 

–local-dir “$BASE_DIR” 

–include “transformer/*”

使用6步版本时，将文生或首尾帧命令中的--model改为"$TURBO_DIR/turbo-6step"，并设置--steps 6；4步版本对应"$TURBO_DIR/turbo-4step"和--steps 4。Ref2VA保持固定8步，不使用上述切换方式。

点击查看模型详情。