Oneira交互式视频世界模型 精准交互与长时状态保持
2026-10-13
近期，来自多所高校的研究团队推出了交互式视频世界模型Oneira，将视频生成模型从单纯的开放式场景生成，拓展到了支持开放世界交互的全新形态。
现有视频交互模型的核心局限
当前主流的视频世界模型已经能够随着镜头移动生成连贯的场景，智能体也可以在其中完成导航或简单交互，但在实际使用中仍存在两大明显短板：其一，当用户需要修改场景中的特定物体时，模型常常会错误地作用在其他对象上；其二，即使交互对象准确，一旦镜头离开当前场景再返回，之前修改的物体状态就会消失。
研究团队分析，这类问题的根源在于现有模型没有单独记录场景的世界状态，所有物体信息和交互结果都只存在于生成的画面和上下文当中，无法区分不同的物体实例，只能依靠文本描述推断交互对象，且交互产生的状态无法持久保存。而传统游戏引擎和模拟器虽然能够精准记录物体状态，但需要预先构建场景和物体，无法随着生成的内容动态扩展。
Oneira的整体设计思路
为解决上述问题，Oneira采用了“世界状态记录”与“画面生成”分离的核心架构，将“场景中发生了什么”和“画面如何呈现”拆分为两个独立的处理流程，从根源上解决了状态丢失和交互不准的问题。
Oneira的技术细节拆解
整个系统由四个核心部分组成：Coding Agent、World State Table、Engine以及视频生成模型。
Coding Agent负责理解用户的交互目标并规划具体的交互动作，它会读取World State Table来确定需要交互的物体，完成交互规划后将结果写回表格中。当镜头移动出现新的物体时，Coding Agent会调用3D感知工具获取新物体的3D边界框，并将其加入到World State Table当中，让可交互的物体随着场景探索不断增加。
World State Table是整个系统的核心存储单元，仅记录与交互相关的关键信息：包括可行走的地面区域、每个物体的语义标签、3D边界框以及当前的交互状态，并不会存储物体的外观细节，外观部分会交由视频生成模型完成。
Engine负责将更新后的World State Table渲染为简化的条件视频，视频中的彩色方框代表不同的物体，方框颜色变化表示物体状态改变，方框消失则代表物体离开了原位置。之后视频生成模型会以首帧画面、条件视频以及每个分段的文字描述为依据，生成带有真实外观、动作和交互细节的完整视频片段。
每一段视频生成完成后，最后一帧画面和更新后的World State Table会作为下一段视频生成的起点，确保整个长视频的交互状态能够持续保留。
举个例子，当用户发出“拿起左下角的苹果”的指令时，Coding Agent会结合World State Table和当前画面，确定要操作的苹果对象以及对应的执行分段，同时推断出另外两个苹果会随之滚落，将这些信息写入交互规划。Engine随后会更新World State Table，标记这三个苹果离开原位，其他物体状态保持不变。苹果的具体移动轨迹和滚落位置则由视频生成模型依据运动先验完成。当另外两个苹果静止后，Coding Agent会从新生成的画面中重新登记它们的位置，并将新出现的物体加入表格中。
值得一提的是，World State Table中的3D边界框仅用颜色表示状态，与物体类别无关，因此模型可以对训练过程中未见过的物体类别进行交互，同时当镜头回到之前访问过的位置时，模型还会参考当时的画面作为记忆帧，进一步保证状态的一致性。
实验验证与效果表现
研究团队构建了名为InteractionBench的评测数据集，包含100个交互测例和50个记忆测例，将Oneira与MiniMax-H3 Ref2VA、LingBot-World-V2、YUME 1.5以及AlayaWorld等现有模型进行了定性和定量对比。
在交互测例的测试中，Oneira在交互是否正确发生、交互时机是否准确以及交互对象是否匹配三个核心指标上均取得了最优结果，分别比表现最好的基线模型高出29、19和29个百分点。在包含多个相同物体的场景中，基线模型常常会错误操作其他物体或同时修改多个对象，而Oneira可以精准只对指定物体进行交互。
在长程状态保持的测试中，当镜头离开并返回同一位置后，Oneira的PSNR和SSIM指标分别提升了93%和83%，状态保持率提升了18%。在VBench的视频质量评测中，Oneira也保持了领先或接近领先的水平。
此外，团队还展示了多项实际交互案例，包括开放式内容交互、多步连续交互等，进一步验证了Oneira在复杂场景下的交互能力和状态持久性。
总结
现有视频世界模型虽然能够生成连贯的场景，但由于缺乏独立的世界状态记录机制，在交互准确性和状态持久性上存在明显不足。Oneira通过Coding Agent维护的World State Table，实现了场景物体状态的独立记录和动态更新，让生成的视频世界真正具备了可交互的属性。实验结果充分证明，Oneira在交互准确性和长时一致性上均显著优于现有同类方法，为交互式视频生成领域提供了全新的技术思路。
