文章摘要
主流视频生成模型难以精准复刻动态场景，现有评测体系无法精准检验模型物体恒存认知。为此，多机构研究者推出MemoBench，它基于360段视频，采用新评测范式和双轨体系。测试10个模型发现，当前模型难以完成“消失 - 重现”任务，该基准为模型研发提供量化标尺。

当你转身离开一杯正在注水的玻璃杯，再回头时，水位早已变化——这是三岁孩童都具备的物体恒存常识：东西不在眼前，不代表它消失，更不代表它会停止演化。但对当下主流的视频生成模型来说，精准复刻这样的动态场景却困难重重。

过去一年里，「世界模型」成为视频生成领域的热门概念，从海外的Sora到国内多款视频大模型，厂商都在强调产品不止是生成好看的画面，更是在模拟真实世界的运行规律。而衡量这一能力的核心标尺，正是模型是否具备类似人类的物体恒存认知：当物体暂时离开视野，且在遮挡期间持续发生物理变化时，模型能否记住它的身份、推演它的状态，并在它重新出现时准确还原？

长期以来，业界的评测体系始终无法精准检验这一能力：绝大多数基准只考核物体全程可见时的帧间一致性；少数涉及遮挡的测试，也多针对静态场景，即物体消失期间环境没有任何变化，只能通过还原原有外观通过测试，完全无法验证模型对动态世界的记忆与推演能力。我们始终无法确认，当物体重新出现时，模型是真的记住并更新了世界状态，还是仅仅生成了一个看起来合理的画面。

针对这一痛点，来自哈佛大学、MIT、IBM等多机构的研究者推出了全新的诊断性评测基准MemoBench，这是首个面向动态环境的「消失-重现」世界建模评测基准，目前已被计算机视觉顶会ECCV 2026收录。该基准由哈佛大学计算科学与工程专业一年级硕士生Haoyu Chen作为第一作者，其导师为哈佛大学计算机科学助理教授Yilun Du。

该基准基于360段1080P的高质量真值视频，搭配自动化指标与语义化VQA评估体系，系统测试了10个主流世界生成模型。测试结果显示，没有任何一个模型的「物体重现得分」超过0.6（满分1），也就是说，目前没有模型能稳定让消失的物体「记得住、认得出、变得对」。

研究团队由此得出核心结论：现有视频生成模型即使能生成视觉上完全连贯的画面，也几乎无法在物体重新出现时，正确恢复它在「消失期间」本该经历的状态变化。这一结论清晰揭示了「生成画面逼真」与「真正理解世界」之间的显著差距，也为下一代世界模型的研发提供了可量化的诊断标尺。

「可见-消失-重现」：直击核心的评测范式

不同于现有的视频生成基准仅评估视觉质量、物理一致性或相机运动控制，MemoBench建立了「Visible-Disappear-Reappear（可见-消失-重现，简称V-D-R）」的核心评测范式，用简洁的三段式结构精准探测模型是否维持了对物体的持久状态表征。

每一个测试样本都严格遵循统一的物理逻辑：

  1. 可见阶段：目标物体完整呈现在视野内，且处于持续的物理变化过程中，比如行走的人物、融化的冰块、倾倒的粉末，模型可以观察到物体的初始状态与变化趋势。
  2. 消失阶段：相机通过平移、转头、U型转弯等运动完全移开视线，目标物体彻底离开视野，在此期间物理过程不会停止，将按照自然规律持续演化。
  3. 重现阶段：相机转回对应区域，目标物体重新进入画面，模型需要准确还原物体更新后的状态，包括位置、形态、物理变化进度等，与真实演化结果对齐。

这一范式考验的并非简单的逐帧画面生成，而是要求模型在视野外维护一个持续演化的世界状态，同时涵盖视觉记忆、状态更新与动态推演能力，是对「真实世界建模水平」的直接检验。

双轨数据体系：合成与真实场景全覆盖

基于V-D-R范式，MemoBench构建了合成与真实世界两条并行的数据流水线，共包含360段高质量Ground-truth视频，配套完整的几何标注与评测工具：

  • 合成子集（196段）：在虚幻引擎5中渲染生成，覆盖5大类环境、14个子场景，包含U型转弯、前进移动、头部转动、垂直运动等多种复杂相机轨迹。每段视频附带逐帧RGB图、度量深度图、相机内参与相机位姿，能够支撑几何层面的精准评估，重点测试大视角变化下的空间记忆能力。
  • 真实世界子集（164段）：在可控室内环境中实拍完成，覆盖7大类、30种物理状态变化过程，包括溶解、燃烧热变、扩散吸收、化学反应、粘性流动、泡沫演化、力学形变等。这些依赖粘度、弹性、热传导等真实材质属性的过程，难以被游戏引擎精准模拟，专门用于检验模型对真实物理动态的记忆准确性。

所有样本都经过人工标注，精准标记了物体「完全消失」和「完全重现」两个关键帧，用以精确划分可见、消失、重现三个阶段，作为后续所有评测指标计算的基础。

双线评测体系：兼顾像素保真与语义合理性

MemoBench设计了自动化量化指标与VQA语义评估两套互补的评估方案，既考察底层像素保真度，也验证高层语义合理性，避免单一指标的片面性。

自动化指标覆盖三大维度

  • 通用视频质量：包含视觉质量、运动平滑度、物体身份一致性、3D几何一致性四项，衡量基础生成能力；
  • 记忆专属指标：作为评测的核心，其中物体重现分数（ORS）通过SAM-3文本驱动分割模型，检测重现阶段目标物体的存在性与置信度，直接衡量模型能否让目标「正确回来」；同时包含分阶段的像素级保真度（PSNR、SSIM、LPIPS）与相机可控性指标，可精准定位性能退化的具体环节。
  • 提示保真度：通过ImageReward衡量生成内容与文本提示的匹配程度。

VQA语义评估聚焦高层语义

VQA语义评估覆盖四个诊断维度，验证自动化指标难以捕捉的高层语义合理性：

  1. 指令遵循：是否准确执行提示中的相机运动、物体轨迹与事件顺序；
  2. 物体与背景一致性：前后景元素是否存在形态漂移、身份切换、场景突变；
  3. 记忆连续性：物体消失期间，模型是否维持了它的身份、轨迹与状态，是与「消失-重现」范式最直接对应的维度；
  4. 物理合理性：运动、重力、光影阴影是否符合物理规律。

为保证评估的可靠性，所有问题都经过真值过滤、失败案例过滤与人工交叉验证三轮筛选。最终人工与VLM判断的整体一致性达92.9%，Cohen's κ系数为0.85，评估结果具备很高的可信度。

实测结果：当前世界模型的能力边界

研究团队在MemoBench上测试了10个当前主流的世界生成模型，涵盖相机可控图生视频（CI2V）、显式3D视角合成、普通图生视频（I2V）三类技术路线，得到了一系列关键发现：

核心结论非常直接：当前没有任何一个模型能可靠完成「消失-重现」的记忆任务。所有被测模型的物体重现分数（ORS）均未超过0.6；在真正执行相机轨迹、让物体实际离开画面的模型中，「记忆连续性」维度的语义得分最高也只有55.6分（满分100，57.0的LTX-Video因相机不动存在虚高问题），也就是说，即便是最强的模型，针对记忆的提问也只能答对一半多一点。

一旦物体离开画面，模型的「记忆」就开始快速退化。重现时的内容要么直接消失，要么被随机幻觉替代，要么外观还在、状态却完全不对。研究团队将这些失败案例整理为六类：物体凭空消失、身份悄悄换人、状态被重置回初始、位置突然跳变、背景被幻觉填充、相机轨迹发生漂移。其中，合成场景里最常见的失败是「背景幻觉」，即物体还在，但身后的世界已经面目全非；真实场景里最常见的则是「身份漂移」，即同一个物体，消失前后的样子判若两物。

除了整体结论，评测还揭示了几组值得深入讨论的对照：

发现1：「相机不动」会虚高一致性分数，传统指标存在盲区

最反直觉的发现出现在普通图生视频模型（I2V）身上。LTX-Video没有任何相机控制能力，但它在运动平滑度、3D几何一致性、物体身份一致性三项指标上全部排名第一，物体重现分数也达到了0.330。单看数字，成绩相当体面，但研究团队发现，这份「好成绩」的来源非常可疑：LTX-Video几乎不移动相机，目标物体从头到尾留在画面里，「物体从未消失」自然就「物体从未失忆」。它的高分是用「回避挑战」换来的，而非真正的记忆能力。这暴露了一个重要的评测漏洞：传统视频质量指标无法区分「在真实视角变化中保持一致」和「靠静止镜头绕开一切挑战」这两种本质不同的情况。MemoBench专门设计了「相机可控性」和「指令遵循」两个维度来识别这种现象，而在这两项上，LTX-Video的得分排到了最后一档。

发现2：能控制相机，不代表记得住物体

既然静止镜头会「作弊」，那支持相机条件控制的模型，表现是否就一定更好？答案是：不一定，而且差距相当悬殊。同样接受相机轨迹作为输入，五个CI2V模型的物体重现分数从0.266到0.582不等，跨度超过一倍。HunyuanWorldPlay以0.582的ORS领跑CI2V阵营，而HunyuanGameCraft和FantasyWorld的ORS只有0.266和0.276；后两者的视觉画质评分反而更高。这组数据说明：相机能跟着轨迹走和模型脑子里是否维护着「走开之前那个世界的状态」，是两件独立的事。镜头控制得再精准，也只是「知道该看哪里」，不是「记住了那里之前发生了什么」。物体恒存不会作为相机条件生成的副产品自然涌现，它必须被显式地纳入训练目标。

发现3：几何精确和画面好看，往往不可兼得

3D类模型提供了最鲜明的能力分化样本。Stable Virtual Camera直接以显式相机位姿驱动渲染，相机轨迹控制最为精准，像素级保真度在所有模型中也最高；但它的视觉质量评分偏低，画面中容易出现模糊边缘、拼接缝和深度修补错误，VQA语义评分同样靠后。Matrix-Game 2.0则完全相反：画面最锐利、视觉质量最高，但相机轨迹经常跑偏；同一段轨迹指令，它生成的视角和真实路径偏差巨大，导致像素保真度和VQA得分都落入低位。这两个模型同时站在评测榜单的两个极端，共同说明一件事：几何准确和画面自然度，在当前技术框架下还没有对齐。用画质评分去推断几何精度，或者反过来，都会得出错误结论。这也是MemoBench坚持多维度评测的核心原因：用任何单一指标，你都只能看见这张地图的一角。

发现4：扩大模型，不如给它看第一帧

论文还披露了一项消融实验，结论相当出人意料。研究团队对Wan2.2做了两组对照：一组把模型参数量从5B扩到14B，另一组保持5B参数不变，但额外提供「可见阶段的第一帧」作为图像条件输入。结果显示，加入第一帧条件使PSNR提升了约4.2 dB，感知距离（LPIPS）下降了0.20；而参数扩大近三倍，对这两项指标的改善微乎其微。也就是说，让模型清楚地「看见」物体的初始状态，比单纯堆参数量对记忆任务有用得多。这一发现指向了一个重要的设计方向：与其追求更大的模型，不如在「初始状态如何被编码和保持」这件事上下功夫。

十个模型同台竞技，四组发现从不同侧面共同指向同一个结论：让画面看起来连贯和真正记住世界的状态，是两件截然不同的事情。而后者才是世界模型走向真实应用必须跨越的核心门槛。

为世界模型研发提供量化标尺

MemoBench揭开的，不只是当前技术的短板，也是长期被忽视的「动态遮挡下的视觉记忆」研究方向第一次有了可量化、可对比、可追踪的评测基础。对于研究者而言，这套体系在指出问题的同时，也暗示了改进路径：持久状态表征的显式建模、以记忆为目标的训练策略、对初始状态感知的强化设计，都是接下来值得深耕的方向。

目前，论文、代码、数据集与公开榜单均已开源，研究者可以直接使用评测工具测试自己的模型，并将结果提交至排行榜，与社区共享进展。

从「生成好看的视频」到「维护一个真实的世界」，这中间隔着的，正是MemoBench正在度量的那段距离。它不一定短，但现在至少有了刻度。

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/

AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。

以上内容不代表本平台立场，仅供读者参考