See4D：无位姿4D生成新方法亮相Eurographics 2026

当需要为视频更换观察角度时，会面临一个核心难题：原拍摄视角未覆盖的区域，如何获取对应的画面内容？将现有像素投影到新视角位置，虽能保留部分场景结构，但会在遮挡边缘留下空洞。此外，视频中的人物与物体持续运动，这要求补全后的内容不仅视觉上合理，还需与前后时刻的画面保持连贯。

此次推出的See4D方法，将上述问题拆解为两个核心部分：基于几何信息引导的视频补全，以及沿空间与时间维度推进的自回归生成。该方法并不要求模型直接生成完整的新视角镜头，而是先提供一份虽存在不完整和误差但具备基础结构的观察结果，再通过学习逐步完成修复。

本研究成果发表于 Eurographics 2026 会议，并收录于《Computer Graphics Forum》期刊

• 论文：See4D: 无位姿的4D生成——基于自回归视频补全

• 项目主页：相关技术项目可访问对应主页获取更多细节

• arXiv：相关研究的完整技术文档可在arXiv平台查阅

几何线索虽有价值，但不能直接照搬所有投影结果

通过深度估计，原视频中的像素可被映射到指定的虚拟相机位置，这种基于深度引导的重投影技术能生成新视角的大致布局，但也存在两类问题：原遮挡区域缺少有效像素，而估计不准确的深度会导致纹理撕裂或拉伸。

划船演示可直观展现这种差异：将输入画面、重投影结果与最终生成结果对比时，黑色空缺并非原场景中的物体，而是投影无法提供有效内容的区域。视频补全需利用已有信息修复这些空缺，同时避免将错误的投影纹理直接复制到输出结果中。

See4D采用视角条件视频补全技术：原视频提供场景外观与动作信息，重投影图像及其掩码提供目标视角的结构线索，扩散模型则负责完成生成与修复任务。该模型需学会合理利用几何条件，同时识别这些条件并非总是可靠。

训练阶段，让模型面对接近真实场景的错误

如果训练时仅随机挖取部分矩形区域，模型难以处理真实重投影产生的不规则空洞。运动物体边缘的缺失、相机移动带来的画外区域，以及深度噪声造成的破碎纹理，都具有不同于随机遮挡的独特结构。

See4D为此设计了真实感重投影合成方案：它估计目标帧深度，将场景变换到附近虚拟位置，再经过带扰动的反向投影，构造与测试时更接近的条件图像。变换以分割出的前景物体为参照，有助于产生与动态主体相关的遮挡变化。

训练还使用噪声自适应条件机制，依据掩码反映的有效覆盖情况，调节重投影信息对生成过程的影响。有效线索较多时保留更多结构；线索稀疏或不可靠时，则降低依赖，给模型修复留出空间。这里使用的是掩码覆盖情况的近似判断，并不等同于获得了每个像素的真实深度置信度。

时空模块则为相邻帧建立联系：帧序号编码帮助网络区分时间顺序，空间与时间注意力让模型共同处理外观和动作，减少逐帧补全各自为政的问题。

从连续拍摄轨迹转向一组固定观察位置

See4D没有把目标定义为另一条任意移动的拍摄轨迹，而是生成若干固定虚拟相机下的同步视频。这种轨迹到相机的安排，将观察位置的控制与场景动作分开，有利于获得可对齐的多视角内容。

标题中的“无位姿”也需要放在这一设置下理解：模型不要求输入视频附带精确的逐帧相机位姿标注，但深度、虚拟相机与相对变换仍参与投影。训练数据同样不是完全无配对的任意视频，研究使用约17万段同步多视角动态片段，并从中选择源视角与目标视角进行训练。

空间上逐步推进，时间上保留重叠片段

较大的观察角度差会放大深度误差，也会一次暴露更多未知区域。See4D沿虚拟相机之间的样条路径逐步推进，每一步都执行投影、补全与深度更新，再将修复后的结果传给下一步。这样，模型每次面对的是相对有限的视角变化。

时间递推则使用重叠窗口：上一段末尾的部分干净潜变量，与下一段的新噪声潜变量一起进入去噪过程，共享片段为后续生成提供外观和运动参照。窗口长度有限，因此不需要一次装入整段长视频；总生成工作量仍会随着时长和视角步数增加。

消融实验为这些设计提供了对应证据：在测试设置下，去掉时空模块时，PSNR从完整模型的14.56dB降至10.66dB；去掉空间递推和时间递推时，分别降至13.58dB与13.02dB。移除噪声自适应条件后，PSNR为13.47dB。它们说明各组件在这套系统中发挥作用，而不是可以脱离实验条件推广到所有视频任务的固定增益。

从定量结果到连续画面，逐一验证不同问题

在多个测试场景上，See4D的平均PSNR、SSIM和LPIPS表现优于对照方法。跨视角生成还在大量视频上按相关协议评测，多项指标领先；运动平滑度略低于对比方法，因此不能概括为所有指标均最优。

图像指标可以描述与参考画面的差异，连续片段则能暴露动作跳变和外观漂移。研究补充材料因此展示了多个时刻下的源画面、投影缺失与生成结果，避免只凭一张最清晰的截图判断视频表现。

同一生成流程适配不同场景

机械臂、道路与影视演示分别包含不同运动与遮挡关系。工作台上的手臂和物体、道路中的车辆与背景、影视镜头中的主体，都需要在观察位置变化后维持相应的时序关系。

See4D的核心贡献在于，将不完美的几何条件、连续视频补全与分步推理整合到同一流程中。生成的多视角视频可用于后续的4D重建融合，但该方法本身并不直接输出完整三维模型。补全区域与原场景的一致性、递推误差的积累方式，仍是理解和改进这类技术的重要方向。