新型Code World Model：代码定义世界，视频生成视觉细节

近年来，视频生成技术在清晰度、时序一致性与可控性上取得了显著进展，依托文本、图像、相机轨迹或玩家动作等输入，已经能够生成连贯的后续画面，让“可交互视频世界”从概念逐步落地为可观看、可操作的原型。

但能延续画面并不等于能运行一个完整的世界：镜头内的位移与碰撞只是交互的表层形式，在更复杂的环境中，角色拥有目标、身份与社会关系，事件受规则约束，还会产生长期的因果影响。许多状态甚至发生在镜头之外，却会改变后续的剧情与行动，仅通过局部像素预测下一帧画面，很难显式维护这些高层语义信息。

复杂世界首先需要「理解为什么」。要构建真正的可交互世界，首先需要理解事件背后的逻辑。目标、规则、记忆与因果链条往往无法从单帧画面中直接读取，却决定了世界的演化方向。语言模型具备的知识调用、推理、规划与编程能力，恰好适合处理这类低频但高复杂度的决策，并将决策转化为可执行的规则。

另一个常被忽略的事实是：游戏视频并非世界本身，而是程序执行结果被渲染后的像素投影。当前视频世界模型的主要可交互数据来源仍是游戏与模拟器，如果仅保留动作与像素，让视频模型直接学习二者的映射，就会绕过原本存在的程序、规则与显式世界状态，迫使模型从视觉结果中反向拟合整套程序行为。这种学习路径不仅效率低下，还将“世界如何推演”与“世界如何呈现”耦合到了同一个模型中。

基于上述观察，研究团队提出了Code World Model，一种以语言模型为“大脑”的新型世界模型范式。其核心思路是让编码代理通过持续编写、调用和修改代码，维护并更新可执行的世界状态；与当前观察相关的状态会被转换为proxy，用于指导视频模型生成精细的视觉画面。

该模型重新划分了语言模型与视频模型的职责：知识、目标、规则与长期因果由编码代理和代码负责，而外观、运动细节、光照与纹理由视频模型承担。简单来说，前者决定世界中发生什么，后者决定这一切看起来如何。

方法概述

围绕这一分工，Code World Model将世界的运行拆分为三个相互衔接的部分：

coding agent：理解玩家意图与新事件，调用世界知识，推理潜在后果，并决定需要执行、组合或修改哪些机制。

code：以更高频率执行位置、属性、碰撞、冷却和事件触发等确定性更新，将高层决策转化为可检查、可复用、可持续运行的规则。

video model：读取演化后的状态条件，利用大规模视觉数据中学到的外观、运动与交互先验，生成带有丰富纹理、光照和局部动态的视觉观察。

这种分工也对应了不同的计算频率：编码代理仅在出现新目标、复杂事件或现有机制不足时进行稀疏决策；一旦决策被写入代码，程序便可持续执行密集的状态更新。更重要的是，编码代理改写的不只是某一时刻的数值，还可以改变世界后续的运行规则。

proxy连接可执行状态与视频生成

完成职责拆分后，需要解决一个关键的接口问题：编码代理与代码维护的是可执行状态，而视频模型接收的是文本、图像或视频token。二者之间需要一种既易于程序构造，又能提供逐帧空间约束的共同语言。

结构化文本足够灵活，但难以稳定描述每一帧的实体位置、相对关系、运动轨迹和精确相机变化；完整构建并渲染3D世界虽然控制更强，却会重新引入资产、几何、材质、动画和渲染管线的高昂成本。

为此，研究团队引入了proxy：它从世界状态中提取当前观察真正需要遵循的信息，并组织为粗粒度的视觉表示。轻量、确定性的编译器将proxy渲染为proxy视频，再与结构化文本一同送入视频模型。

文本负责说明“是谁、是什么、要做什么”，而proxy则规定“在哪里、怎样移动、镜头怎样拍摄”。proxy可以表达相机与视角、实体位置和朝向、尺度与轨迹、场景布局和遮挡，以及当前交互所需的粗粒度状态；纹理、材质、精细光照和完整局部运动则留给视频模型。该设计原则可以概括为：只保留当前观察所需的最小充分状态，在控制能力与状态编码成本之间取得平衡。

当前实现中的proxy在宽和高上都仅为目标视频的四分之一，像素量约为目标的1/16。它由简单、可复用的几何原语组合而成，无需专业级资产，却能提供逐帧、可编辑的时空骨架。

从游戏运行时记录中获得严格对齐的数据

要让视频模型学会理解proxy，训练样本需要同时包含proxy视频、结构化文本与目标RGB视频，且proxy与RGB必须在时间、相机和实体身份上严格对齐。

游戏的运行时记录天然保留了这种对应关系：研究团队从同一次游戏运行过程中同步记录RGB、相机状态、实体身份、位置与朝向、近似尺度、场景布局和交互状态，再通过代码离线编译proxy。由于二者来自同一次执行，每一帧都能建立一一对应，跨帧身份也可以稳定映射。

研究团队使用的游戏运行数据包含157段录制，总计约5.6小时的源视频。团队以2秒间隔采样，得到9420个5秒的训练片段；每个RGB目标包含124帧，分辨率为1344×768，帧率为24FPS，对应的proxy同样包含124帧，分辨率为336×192，并结合了fixed-log depth与categorical semantic-ID map。

同一份运行时记录还可以被重新编译为覆盖范围和信息粒度不同的proxy，无需重新录制RGB视频。研究团队还在KITTI-360上展示了真实视频proxy-observation对的离线构造流程，以说明该接口向真实数据扩展的可能性；当前视频模型的适配仅使用配对的游戏运行数据。

原型系统如何运行？

当前原型采用MiniMax-H3的Ref2VA backbone作为视频模型，对全部50个Transformer块进行rank-128 LoRA适配，可训练参数约为5.96亿。训练使用8张NVIDIA H800 GPU，共完成3个epoch、3534个优化步骤。

推理阶段由GPT-5.6 Sol担任编码代理。系统向其提供基础玩家控制、碰撞处理、运行时更新循环、现有游戏引擎场景与游戏逻辑模板，以及训练阶段使用的proxy原语。编码代理可以组合、扩展和改写这些代码，构造简单、可执行、可由玩家控制的世界；其中的粗粒度3D几何仅用于表达proxy，并不直接作为最终画面。

对于每个5秒片段，GPT Image 2根据首帧proxy与文本生成appearance anchor；MiniMax-H3再结合首帧、完整的proxy序列和文本，生成124帧、1344×768、24FPS的RGB视频。较长视频通过带有34帧重叠的滑动窗口生成：后一个窗口继承前一个窗口末尾的RGB上下文，并复用同一个appearance anchor，以维持局部连续性和整体身份外观。

实验结果

定性结果显示，即使仅使用约5.6小时的游戏源视频进行LoRA适配，模型仍能在角色、环境和风格明显偏离训练外观时，遵循proxy指定的人物位置、动作轨迹、场景布局与相机运动，同时补充丰富的纹理、光照和局部动态。

例如，同一种粗粒度人类原语可以被呈现为身份和艺术风格完全不同的角色；线框或立方体可以约束车辆、船只及其他复杂物体的位置与大致运动；同一套proxy接口还能够表达奔跑、舞蹈、游泳、坠落和相机环绕等动作。这说明proxy固定的是当前观察必须遵循的时空骨架，而非训练游戏的资产和画风。

项目主页还给出了与动作或相机条件视频世界模型的视频对比，该比较关注控制粒度与视觉结果：proxy直接提供逐帧实体运动和视角变化，因此能施加更细粒度、更直接的时空约束；论文并未将这组结果表述为推理延迟对比。

有网友评论到，“虚幻引擎6会是最后一个用传统3D方法创造游戏的引擎吗？或许虚幻引擎7就会用类似的技术方案了。只有虚幻引擎CEO Tim知道答案”，随后Tim也回应道，“我也不知道！”

结语：先决定世界发生什么，再生成它看起来如何

过去的视频世界模型主要学习“观察如何继续”。Code World Model则将问题向前推进了一步：在生成下一段观察之前，先维护世界当前的状态、遵循的规则，以及一次事件的持续后果。

一个真正开放的生成世界，既需要视频模型的视觉想象力，也需要能够维护知识、目标、规则、关系与因果后果的执行机制。Code World Model的核心可以浓缩为一句话：让代码决定世界中发生什么，让视频模型决定这一切看起来如何。