北大团队推出DynStream 攻克长视频在线4D重建核心难题

当用手持相机拍摄一段移动的街景时，若要实时重建其中的动态三维场景，会面临多重复杂挑战。首先，很难区分相机移动带来的画面变化与行人、车辆等移动物体的变化；随着相机不断推进，将新捕获的帧与之前的帧对齐，避免场景错位或动态元素产生的重影也会变得更加困难；此外，持续的视频输入需要系统避免重复计算，才能跟上拍摄速度。

这些问题对应着在线4D场景重建的三大核心需求：增量处理、跨时间的全局一致性，以及动态场景的高保真表达。在线系统只能利用已到达的帧更新场景，因此不仅需要准确重建局部几何，还必须在时间维度上保持相机轨迹、几何尺度和动态信息的一致性。

当前的方法往往难以兼顾这些要求：基于逐场景优化的方法需要反复迭代更新场景参数，速度过慢；离线前馈方法通常仅联合处理有限的帧，计算与内存开销会随输入规模增长，难以扩展到长视频；许多前馈几何模型也仅输出点云或深度图，无法直接用于高保真渲染。

某研究团队提出了名为DynStream的在线流式4D高斯前馈重建框架，以解决这些问题。该框架以无位姿的RGB视频流作为输入，输出相机轨迹和持续更新的、可用于渲染的动态场景表示。该方法不重新处理整个场景或针对每一帧重新优化，而是按时间划分视频块，通过前馈推理完成局部重建，再将各块整合到统一的世界坐标系中。

DynStream通过三大核心模块解决长视频在线4D重建问题：

局部在线重建模块：由于输入视频可长达数分钟、横跨数千米，注意力层的计算开销会随输入帧数快速上升。为此，DynStream首先将输入视频帧按时间顺序划分为若干固定长度的块。对于新到来的视频帧，在线网络在对应视频块内执行前馈重建，生成局部场景。这种分块处理的方式避免了长视频全局信息融合的复杂问题，网络只需专注于局部场景重建，再通过场景融合模块将局部场景整合为一致的全局场景。

无需额外计算的全局聚合模块：对于大规模场景的前馈重建，不同视频块生成的局部场景会存在三维相似变换的任意偏差，导致将局部场景组合时出现明显错位。传统方法通常采用耗时的优化方法，利用重叠帧的点云对应关系估计三维相似变换。与传统方法不同，DynStream在训练时将相机位姿预测从绝对位姿改为相对位姿：每帧相机的位姿相对于其所在块的第一帧进行预测。此外，相邻视频块通过重叠的关键帧进行对齐，同时为每个局部场景预测一个正的尺度变换因子，将所有场景的尺度统一映射到米制尺度。这种方式无需任何额外计算即可实现全局场景的聚合。

动静分离的场景累计模块：除了重建场景高斯基元的基本参数，DynStream还为每个高斯基元预测了动态概率。通过一个固定阈值可区分静态和动态高斯基元：静态高斯基元会逐步纳入全局场景，而动态高斯基元则保留在对应时间步。在渲染时，系统会将全局静态场景与当前时间步对应的动态高斯基元结合进行渲染。

实验结果显示，DynStream能实现更高质量的场景渲染和长程相机轨迹重建。该框架在涵盖室内、室外、静态、动态场景的5个数据集（包括Waymo和SpatialVID）上进行了测试，与AnySplat、MVSplat、NeoVerse等当前顶尖的前馈场景重建方法对比，结果显示DynStream在所有数据集的所有指标上均优于基线方法。定性实验进一步证实，DynStream在车辆边缘、路面结构、动静物体边界等细节的重建效果更优，同时能有效抑制动态区域的重影伪影。

在长程相机轨迹重建方面，该框架在基蒂数据集的11个视频序列（总计23201帧，最长序列长度达5公里）上进行了评测。相较于现有流式方法，DynStream的三维相似变换绝对轨迹误差从数百米降至40米，多项指标达到最优，在长序列中的相机轨迹重建能力明显更强。

该研究团队成员来自国内某高校的视觉数据研究实验室和一家科技初创企业。第一作者为该实验室的本科生，通讯作者为博士生导师、智源学者王勇涛副研究员。该实验室近年来在多项顶级计算机视觉期刊和会议上发表了重要成果，多次斩获国内外计算机视觉领域重量级竞赛的冠亚军奖项，并与国内外知名科研机构和企业开展了广泛合作。这家科技初创企业是该实验室孵化的新创企业，致力于探索与解答物理领域通用人工智能的核心问题。