Stream3D：视频流中3D生成的证据记忆新范式

如何从一段持续的单目视频中重建出完整且一致的3D物体？长期以来，这个领域的探索主要沿着两条并行路线展开：一条是3D重建，通过拼接不同视角的真实观测几何来还原物体，但在视角有限、存在遮挡或物体背面未被拍摄到时，往往会留下不完整的表面；另一条是3D生成，依托大规模数据学习到的先验知识，从单张图像推断完整物体，虽然能补全未观测到的结构，但不同视角的“脑补”结果可能存在矛盾，导致一致性不足。

两种范式各有侧重：重建注重观测的忠实性，生成则擅长补全缺失信息。但当输入不再是固定的单张图像或有限多视图，而是一段没有预设终点的实时视频流时，我们需要的不再是二选一，而是让生成模型像重建系统一样持续吸收新的观测证据，同时利用生成先验补全未被观察到的部分。

近期，多所顶尖学术机构的研究团队推出了Stream3D，为现有的视图条件3D生成器加入了一套无需训练的流式机制。这套系统可以在不修改底层生成器结构、无需额外训练的前提下，持续从视频流中筛选并积累可靠的多视角证据，最终生成跨时间、跨视角一致的完整3D结果。更重要的是，它仅保存固定容量的证据记忆，不会随着视频长度增加而线性占用更多资源，让原本面向单图或固定多视图的生成模型获得了类似在线重建的持续观测能力。

现有的视图条件3D生成器通常假设输入是单张图像或一组预先确定的有限视图，当面对开放式视频流时，常见的三种直接方案都存在明显短板：

• 逐帧独立生成：每一帧都能生成看似合理的3D物体，但模型没有历史记忆，同一物体未被观测的部分可能在不同时间被赋予不同形状，最终出现明显的时间不一致问题。
• 保留并反复处理全部历史帧：虽然可以利用更多视角信息，但计算量和内存占用会随视频长度持续上升，难以支持真正开放式的长序列视频。
• 传递潜变量状态：比如复用KV Cache或通过FlowEdit类方法传递上一段的潜特征，但3D生成器的方向、形状和尺度都纠缠在潜空间中，不同视角难以准确对齐，且误差会在长序列中不断累积。

Stream3D的设计思路直击这些痛点：与其搬运越来越重且不稳定的潜变量，不如只记住哪些历史视角真正提供了可靠的观测证据。

Stream3D在每个视频分块上执行两步计算：先通过轻量的预热前向传播判断当前视角的可靠性，再根据更新后的记忆选择信息量最高的历史帧完成完整3D生成。整个流程包含三个关键环节：

1. 注意力探针：自主评估视角的证据价值

在单步去噪的预热过程中，Stream3D会读取冻结生成器的交叉注意力图。对于每个3D查询token，系统不仅会计算当前输入视角获得的注意力强度，还会评估这种注意力的集中程度和区分度。由此得到的证据分数可以理解为：针对3D空间的某个局部区域，当前视角是否提供了强而明确的观测证据。不同于全局统一的“最佳帧”选择，Stream3D会为不同的3D局部token分别记录对应的可靠视角。

2. 自适应证据记忆：固定容量，只保留优质证据

Stream3D为每个查询token维护两个固定大小的列表：一个存储Top-D等级的证据分数，另一个记录对应分数的帧索引。当新的视频分块到来时，只有比已有记录更可靠的视角才会被加入记忆，未被任何token选中的帧则会被直接丢弃。

这种设计带来两个关键特性：一是跨分块记忆的大小仅与3D token数量和记忆深度有关，与视频总长度无关，不会随着视频变长而线性膨胀；二是对于每个token和每个记忆排名，缓存的证据分数只会保持或提升，也就是证据空间中的单调性——不过这并不意味着每一次随机生成的成品都会必然变好。

3. 基于证据的多视角生成：让token为历史帧投票

在完整生成阶段，每个token会根据自己的Top-D列表，为最能解释自身的历史帧“投票”。系统汇总这些局部选择，计算每一帧覆盖的重要token数量，最终选出得票最高的Top-K帧作为当前分块的条件输入。不同于随机挑帧或全局代表帧选择，物体的不同表面可以从不同历史视角中获取证据，被选中的多视角会通过置信度加权融合的方式共同参与生成，而底层的3D生成器始终保持冻结状态。

主实验结果显示，Stream3D的性能提升并非仅来自生成更“合理”的纹理，而是同时改善了几何指标和外观指标。在GSO和NAVI两个数据集上，它的Chamfer Distance、IoU等几何指标，以及PSNR、LPIPS、Image FID等外观指标都得到了优化，这说明多视角证据不仅约束了最终渲染结果，还真正改变了模型恢复的3D结构。

为了体现方法的定位，研究团队还将Stream3D与流式重建模型StreamVGGT进行了对比。StreamVGGT沿着重建路线持续预测并融合输入图像对应的3D点图，而Stream3D则将真实观测转化为生成过程中的条件证据。为了减少“背面未被观测”对重建方法的不利影响，实验为StreamVGGT提供了32个覆盖完整角度的输入视角，并通过反投影得到其不直接支持的新视角结果。即便如此，Stream3D仍在整体几何和外观指标上表现更优，其Chamfer Distance为0.048，优于StreamVGGT的0.064。

这一结果的核心意义并非简单宣称“生成优于重建”，而是证明了当生成模型获得类似重建系统的持续证据积累能力后，可以同时利用两类信息：观测到的视角负责约束物体的身份、局部几何和纹理，生成先验则负责补全有限条件视角未能覆盖的结构。纯重建方法仅回答“相机已经看到了什么”，而Stream3D则需要回答“这些观测共同指向了怎样一个完整且一致的物体”。

Stream3D在每次完整生成时仅向底层模型提供K=8个由证据记忆选出的条件视角，但这并不意味着它仅观察了8帧——这组紧凑的输入来自此前整段视频积累的token级证据。正因如此，它展现了一种全新的少视角能力：不是依靠少数孤立的图像直接猜测3D结构，而是将长视频中的观测压缩为少量高价值的条件视角，再借助生成先验得到更完整、更一致的结果。

在GSO数据集上，与单视图SAM3D相比，Stream3D的各项指标都有显著提升：

• Chamfer Distance从0.094降至0.048，相对下降约48.9%；
• IoU从0.664提升至0.775，增加11.1个百分点；
• PSNR从14.178 dB提升至16.145 dB；
• LPIPS从0.178降至0.139，相对下降约21.9%；
• Image FID从105.197降至66.711，相对下降约36.6%。

NAVI数据集包含更复杂的相机轨迹、视角变化、重复纹理和自遮挡，是更具挑战性的测试场景。在该数据集上，Stream3D的增益相对温和，但仍覆盖了所有报告指标：例如CD从SAM3D的0.138降至0.128，PSNR从16.159 dB提升至16.474 dB，Image FID从141.496降至134.025。

研究团队还对比了不同的流式策略：KV-Cache会将未经几何可靠性筛选的历史token一并带入，FlowEdit更擅长局部短程一致性，随机选帧则可能遗漏局部表面所需的关键视角。相比之下，Stream3D的逐token证据记忆能够长期保存“局部不可替代”的历史观察。

进一步的消融实验表明，更深层的Transformer特征通常能提供更稳定的几何证据；归一化后的证据分数优于熵分数和未归一化版本；增加记忆深度可以改善长程一致性，但过深的记忆可能重新引入较弱或过时的证据。研究团队最终选择K=8作为效率和质量的折中方案，而K=16在部分指标上还能获得小幅提升。

长期以来，3D重建和3D生成通常被视为两条独立的路线：重建关注如何将真实观测准确还原到三维空间，生成则关注如何利用先验知识在信息不足时给出完整合理的结果。Stream3D的意义在于证明这两种能力并非必须割裂。

在Stream3D的框架中，证据记忆承担了“重建式观测”的角色：它不断比较新旧视角，只保留最能解释不同3D局部的历史证据；而冻结的3D生成器则负责将这些有限但可靠的观测组织成完整物体，补全未被充分观测到的几何和外观。前者让结果忠实于视频流的真实观测，后者让系统无需等待每个表面都被相机完整拍摄。

从这个角度来看，无需额外训练和固定容量的跨分块记忆并非只是两个工程优势：无需训练意味着现有单图3D生成器可以直接获得持续观测能力；固定大小的记忆则让这种能力可以延伸到没有固定终点的视频流。二者共同支撑了一种介于传统重建和生成之间的全新工作模式。

当然，Stream3D仍受限于底层生成器的能力。如果基础模型无法从输入视角正确理解物体，证据记忆也无法凭空修复错误；论文结果也不意味着生成方法可以普遍取代重建方法。它具体证明了：在有限条件视角的流式设置中，当生成先验受到可靠历史证据的持续约束时，生成模型可以得到比纯流式重建更完整、更一致的3D结果。

未来的3D系统或许不再需要在“重建还是生成”之间做选择，更值得探索的问题是：如何让模型像重建系统一样持续理解所见的世界，同时像生成模型一样补全未被观察到的部分。Stream3D正是为这两种能力搭建了一座桥梁。