生成即理解：GenCeption实现跨场景视觉任务泛化
当你想要搭建一个视频理解应用时，常规思路往往是先对视频信息做逐层拆解：比如做动作理解时，先把原始像素转换成人体关键点，再把连续动作按时序分割成独立片段，整个过程要尽可能过滤掉和任务无关的干扰信息。但这种路径天生带着隐患：不同处理阶段依赖不同的数据标注和特征表示，数据之间很难完全对齐，误差会随着流程逐级传递累积，而且之前过滤掉的无关信息，说不定在下游任务中又会变成关键线索。
理解世界，一定要从「做减法」开始吗？
就在几个月前，谷歌DeepMind发布的重磅论文《Image Generators are Generalist Vision Learners》，首次系统性验证了一个行业内早有猜想的直觉：图像生成模型本身就是强大的通用视觉学习器。而现在，这个团队又把「生成即理解」的思路拓展到了视频领域。
在最新论文《Video Generation Models are General-Purpose Vision Learners》中，研究团队推出了名为GenCeption的方案，将预训练的文本到视频生成模型，改造为一套可以通过文本指令控制的通用视频理解系统。这套系统可以直接完成深度估计、表面法线预测、语义分割、相机位姿估计、3D关键点预测等十数种不同的视觉任务，不需要为每个任务单独定制专用模型。
视频生成，或许就是视觉领域的通用预训练目标
自然语言处理能够从专用模型进化到通用大模型，核心在于找到了「预测下一个词元」这样统一且可规模化的训练目标。而计算机视觉领域虽然已经有不少强大的基础模型，但绝大多数依然带着明显的任务专用属性。
论文作者指出，想要搭建通用视觉模型，关键就是要找到类似语言模型「下一词元预测」的通用预训练范式，而这样的范式需要满足三个核心条件：
- 能够自主学习时空演化规律、三维空间结构和物理世界规则
- 能够和自然语言实现天然对齐
- 可以随着训练数据量、模型参数量和计算资源的增加持续提升性能
大规模文本到视频生成模型，恰好完美契合了这三个条件。为了生成连贯可信的视频内容，模型必须自主学习丰富的时空先验知识；同时这类模型天生就以自然语言提示作为生成条件，而且已经获得了大量产业资源的投入和优化。因此，视频生成或许并不只是视觉系统的一项下游应用能力，它本身就可以成为视觉领域的通用预训练任务。
把视频生成器改造成理解模型
GenCeption的核心思路非常直接：直接复用已经完成预训练的文本到视频扩散模型，将模型内部学习到的时空先验知识，转化为通用的视觉理解能力。
传统的视频扩散模型，需要从随机噪声出发，经过多轮迭代去噪才能生成视频。但对于深度估计、语义分割这类视觉理解任务来说，我们需要的是稳定确定的输出结果，而不是带有随机性的生成样本。因此，GenCeption对模型结构做了关键改造：将原本的多步扩散过程简化为单步前馈模型。
在这个改造后的模型中，不再输入随机噪声，而是直接接收待分析视频的无噪声潜在表示，同时将扩散时间步固定在t=0，整个模型只需要进行一次前向传播就能得到结果。对于同一段输入视频，只需要修改对应的文本指令，就能切换任务模式：如果指令是「输出逐帧深度图」，模型就会生成对应的深度预测结果；如果指令是「预测3D关键点」，模型就会直接输出三维人体姿态数据。这意味着同一个模型可以用统一的架构处理多种不同的视觉任务，不需要为每个任务重新开发专用系统。
如何统一多种视觉任务
市面上不少所谓的多任务视觉模型，虽然共享同一个主干网络，但在面对不同任务时，依然需要使用不同的任务头和损失函数。而GenCeption更进一步，尝试统一视觉任务的主干网络、预测头和训练目标。
研究团队首先将视觉任务分为两大类：
- 密集视觉任务：比如深度估计、表面法线预测、语义分割、相机射线图这类任务，模型会将预测结果统一编码到标准RGB色彩空间中。这样一来，不同的密集任务都可以被表示为一种「目标视频」，继续沿用生成模型原本熟悉的输出形式。
- 稀疏视觉任务：比如2D/3D关键点检测这类任务，模型会额外加入可学习的Token，再通过一个轻量级的MLP网络将特征解码为坐标数据。
通过这样的设计，GenCeption既可以输出逐像素的视觉结果，也可以输出适合后续计算和控制的结构化坐标数据。更重要的是，所有任务都使用统一的L2损失函数进行训练。任务之间的差异不再主要通过不同的模型头和损失函数来体现，而是被转移到数据表示层面：先通过归一化和重新编码消除不同任务的尺度和格式差异，再使用统一的损失函数进行优化。这也是论文强调的核心范式转变：任务的定义不再主要体现在架构修改上，而是体现在数据格式的设计中。
合成数据解决多任务标注与对齐问题
想要搭建通用视觉理解模型，还面临一个现实的难题：数据。真实世界的视频数据通常只包含有限的标注模态，比如某个体育项目的数据集可能有人体关键点标注，但缺少动作类别信息；另一个数据集可能有相机轨迹数据，却没有时序关键帧的标注，不同数据集之间的格式冲突也会增加训练难度。
为了获得能够同时支持多种任务的高质量标注数据，研究团队主要采用了合成数据的方案。他们使用了800个RenderPeople的人物资产和200种不同的动作，生成了7500段人体运动视频，同时同步获得了深度、表面法线、语义分割、DensePose、2D/3D关键点和相机位姿等全套标注信息。这些标注信息都来自同一个三维虚拟场景，因此在空间和时间维度上天然对齐，彻底解决了不同数据集之间的格式冲突问题。
生成式预训练真的更好吗？
GenCeption可以覆盖深度估计、表面法线、前景分割、指代表达分割、相机位姿和3D关键点等十余种视觉任务。实验结果显示，它在多个标准基准测试上的表现，能够接近甚至超过Depth Anything V3、SAM 3、D4RT、VGGT-Ω、Sapiens和Genmo等专用的任务模型。
值得注意的是，论文同时测试了两个版本的GenCeption：专用版「Specialist」是在单个任务上单独训练的模型，而通用版「Generalist」则是用同一个模型联合学习所有任务。按照常规经验，多任务模型很容易因为不同任务之间的相互干扰而出现性能下降，但实验结果显示，两个版本之间的性能差距非常小，这说明统一的多任务模型并没有因为处理多种输出模态而出现明显的能力损失。
仅仅证明GenCeption表现优秀，还不足以说明视频生成是更好的预训练范式——我们还需要确认这些优秀的结果，到底是来自生成式预训练本身，还是仅仅因为模型规模更大。为此，研究团队在完全相同的后训练数据条件下，对比了V-JEPA、VideoMAE V2和视频生成模型WAN 2.1作为主干网络的效果。结果显示，在深度估计任务中，基于生成式预训练的WAN主干网络，性能明显优于另外两种视频表征学习方法。而且随着模型参数量从13亿扩大到140亿，模型的性能还会持续提升。
GenCeption同时展现出了极高的数据效率。它只需要大约123万帧的后训练数据，就能取得接近部分领先专用模型的效果；而Depth Anything V3、D4RT和VGGT-Ω等模型，使用的训练数据规模分别达到了2亿、8600万和6亿帧。论文据此指出，GenCeption能够以比现有方法少7倍到500倍的下游训练数据，达到相近的性能水平。当然这并不意味着视频模型的训练成本很低，因为GenCeption依赖的是已经完成大规模预训练的140亿参数生成模型，但它确实证明，一旦拥有一个强大的视频生成基础模型，针对下游视觉任务进行适配时，所需的专用标注数据可以大幅减少，这对于标注成本高昂、任务定义不断变化的专业领域来说尤为重要。
从合成人类，到动物和机器人
GenCeption最令人惊喜的部分，并不只是在标准基准测试上的表现，而是它超出训练范围的泛化能力。
模型的大部分后训练数据都来自合成的人体运动视频，但它可以直接处理真实世界的视频，并输出准确的深度、法线、分割和姿态估计结果。即使只在单人视频上进行训练，模型也可以在多人场景中准确识别并输出多个角色的姿态实例。
更进一步，模型还可以将人体相关的视觉理解任务，迁移到训练数据中从未出现过的类别上。比如，仅在合成人类数据上训练的模型，可以为猩猩预测近似的人体姿态，也可以对其他动物、拟人角色进行语义分割和姿态估计，甚至可以为机器人输出具有语义对应关系的关键点。这些能力很难仅仅用7500段合成人体视频来解释，研究团队认为，这些泛化能力主要来自视频生成模型在大规模预训练阶段已经学习到的广泛世界知识。后训练过程并不需要教会模型「什么是动物」或者「什么是机器人」，只是让模型学会了一种新的格式来输出已经具备的知识，下游训练更像是在提供一套读取已有知识的接口。
「生成即理解」成立了吗？
GenCeption确实为「生成即理解」的假说提供了相当有力的实验证据。这说明，视频生成模型内部保存的不仅仅是画面纹理和风格信息，还包含了大量关于空间结构、时间演化、物体属性和运动规律的结构化知识。
但「生成即理解」依然不能算是一个已经完全成立的等式。本次研究主要验证的是模型对视觉结构信息的理解能力，而动作语义、事件因果和意图推理这类需要回答「发生了什么」以及「为什么发生」的任务，和结构理解之间依然存在不小的距离。更准确地说，这篇论文证明了：视频生成式预训练可以学习到能够支持多种视觉理解任务的通用表征，不同任务所需的能力，或许都藏在同一个基础模型的通用知识中，可以被灵活调用和迁移。
这为视觉应用的开发定义了一种全新的范式：未来面对一个新的视觉理解任务，或许不再需要从头开始收集海量标注数据、搭建专用的模型级联系统，只需要准备少量的任务样本，再结合一个强大的通用基础模型，就能快速完成适配。
