腾讯开源OmniR2V数据集与OmniVBench 解决视频生成评测难题

某专业视频平台开源了OmniR2V数据集与OmniVBench评测基准，提供34万条工业级视频生成数据及多维度细粒度评估体系，旨在解决全能参考（Omni R2V）视频生成任务中复杂控制与精准评测的难题。

引言

视频生成正在从单纯的文本驱动，走向更灵活、更精确的全能参考控制。在实际创作中，参考素材的作用越来越丰富：用户可能希望保持某个人物的身份与外观，同时参考另一段视频中的动作和运镜；也可能希望沿用某种视觉风格，或按照故事板给定的结构与剧情生成新镜头。进一步地，多份参考还可以共同控制不同的人物、场景、风格或结构，并按照指令组合到同一个生成结果中。然而，现有公开训练数据和评测体系主要围绕有限的参考类型和相对简单的控制设置构建，难以完整覆盖这些不断扩展的R2V需求。为此，OmniR2V数据集与OmniVBench评测基准应运而生：前者提供面向多种参考任务的大规模训练资源，后者系统评测模型在多样化、细粒度及组合参考条件下的生成能力，共同为Omni R2V的训练与评估提供基础。相关研究成果已发表于arxiv论文：http://arxiv.org/abs/2609.22069

OmniR2V数据集：多任务R2V训练资源

目前，高质量、可直接用于训练的多任务R2V数据仍然十分稀缺。R2V数据的难点不仅在于获取大规模视频素材，更在于将原始视频系统转化为具有明确参考关系、可直接用于训练的结构化样本；当任务扩展到Omni R2V时，这一构建成本也随之增加。针对这一问题，构建并开源了OmniR2V数据集。

OmniR2V数据集主要基于专业视频平台的大规模专业版权视频资源构建，数据覆盖真人实拍、二维动画和三维动画等多种内容形态，以1080p、2160p及以上高分辨率视频为主，为多样化R2V数据构建提供了高质量素材基础。数据集共包含339570条处理后的训练样本，覆盖Content、Motion、Style、Structure、Narrative、Multi-Content和Cross-Aspect七类R2V任务。针对不同参考因素，设计了相应的任务特定构建流程，通过跨片段匹配、参考因素提取、逆向生成与质量筛选等方式，将原始视频转化为具有明确参考关系的R2V训练数据。不同于仅提供原始视频链接、需用户自行下载和处理的数据资源，OmniR2V数据集直接提供包含参考输入、训练指令和目标视频的完整训练样本，降低了社区开展Omni R2V训练与研究的数据构建门槛。

OmniVBench：细粒度多维度评测体系

随着R2V能力不断扩展，评测本身也面临新的问题。现有R2V评测基准往往集中于人物、物体或场景等内容参考，对于运动、运镜、风格、结构和叙事等参考因素覆盖不足；即使针对同一种参考类型，也较少进一步区分不同的细粒度控制能力。与此同时，实际生成任务正在快速走向多参考与组合控制，模型不仅需要理解单份参考，还需要从多份参考中提取正确信息，并按照指令将不同参考因素作用到正确的目标上。

针对这些变化，OmniVBench从四个方向扩展R2V的评测范围：更广的参考类型（覆盖内容、运动、风格、结构和叙事等不同参考因素）、更细的控制粒度（区分整体物体、材质、纹理和局部部件等不同粒度，人物参考覆盖单视角、多视角等设置）、更多的参考组合（包含单参考、多参考组合等多种设置）、更灵活的定制控制（模型需根据指令判断参考因素的提取与排除）。最终，OmniVBench建立了覆盖7大任务类别、18个细分任务、813个测试案例的R2V评测基准，从单一参考扩展到复杂的多参考组合设置。

OmniVBench提出factor-grounded evaluation，根据每个测试案例中的参考角色、目标绑定关系与生成指令，构建了12172个case-specific checklist items，将复杂的整体判断转化为与具体参考因素对应的细粒度检查。整个评测从三个互补维度展开：Reference Fidelity（参考因素保留得是否准确）、Instruction Realization（参考与指令之间的控制关系是否正确实现）、Video Quality（最终视频本身的生成质量如何，从美学表现、物理合理性和感知质量等方面评价）。这种拆分使OmniVBench不再仅回答“视频生成得好不好”，还能进一步区分参考因素保留、参考信息解离路由、指令实现及视频质量等不同维度的表现。

为验证评测体系的有效性，研究人员使用OmniVBench对多款代表性的开源与闭源视频生成模型进行了系统评测。实验表明，当前模型在不同R2V任务上的能力不均衡：内容参考相关任务相对成熟，而在运动、风格、结构、叙事及多参考组合等复杂任务上仍存在明显提升空间。同时，模型的Reference Fidelity与Instruction Realization呈现不同能力表现——能够较好保留参考信息，并不意味着能正确完成参考因素的解离、路由与指令控制，这进一步说明对Omni R2V进行细粒度、分维度评测的必要性。

总结

随着R2V走向更广的参考类型、更细的控制粒度、更多的参考组合和更灵活的定制方式，训练数据与评测体系也需要随之扩展。开源的OmniR2V Dataset提供339570条处理后的完整R2V训练样本，降低多类型、组合式R2V数据的构建门槛；OmniVBench则通过7大任务类别、18个细分任务、813个测试案例和12172个细粒度检查项，为复杂参考控制提供更全面、细粒度的评测。希望这两项资源能够为社区提供一套覆盖训练与评测的Omni R2V基础设施，支持更通用、更灵活的参考视频生成研究。

数据集下载与使用

Omni-R2V采用JSONL格式组织训练标注，存放于meta/目录下。每条样本包含中英文生成指令、参考素材信息及目标视频路径，所有媒体路径均采用相对于数据集根目录的相对路径，开发者可直接根据标注文件构建训练数据加载器。此外，数据集保留了可用的多组候选参考素材，支持单参考训练、多参考联合训练以及灵活的参考组合，为不同的视频生成模型提供统一的数据基础。

可通过相关社区平台网页下载，也可使用对应工具的SDK进行命令行下载：

modelscope download \
  --dataset wli318/OmniR2V \
  --local_dir ./OmniR2V

为提高大规模数据的下载效率，Omni-R2V将视频及参考素材按照任务类别打包为多个.tar文件，存放于assets_tar/目录下。下载完成后，可在数据集根目录执行：

cd OmniR2V
for t in assets_tar/*.tar; do
  tar -xf "$t"
done

解压后，参考图像、参考视频及目标视频将按照对应的任务类别和样本编号组织在assets/目录下。数据集仅供科研使用，使用前请仔细阅读相关许可条款。

点击阅读原文，即可跳转数据集链接。