智源Orca：从统一世界状态到理解预测行动
当下的人工智能已经在多模态输出领域展现出极强的落地能力：语言模型通过预测下一个token，实现问答、写文、代码生成等自然语言交互；图像与视频模型可以生成高度逼真的视觉素材，甚至精准预测连续帧的动态演化；具身智能模型则能够让机器人完成抓取、整理、放置等实体操作任务。但在这些亮眼的输出能力背后，一个更底层的核心问题始终存在：当前的AI模型究竟只是学会了针对特定任务的输出模式，还是真正理解了现实世界的状态变化规律？
针对这一问题，智源研究院悟界·RoboBrain Orca团队发布了技术报告《Orca: The World is in Your Mind》，尝试构建统一的多模态世界表征模型。相关项目页面与技术报告已公开上线，迅速引发了海外学术社区的广泛关注。不少研究者将讨论焦点聚焦于其“真正的多模态世界模型”设计思路——Orca并未简单拼接文本、图像、视频与动作模态数据，而是致力于在统一的世界潜空间中学习不同模态背后的共同状态与演化规律。有评论指出，该项目更接近早期通用世界模型的雏形，即先学习世界的变化逻辑，再将学到的世界表征迁移到理解、预测与行动任务中。该项目不仅登上了Daily Papers月度榜单，还在Hugging Face、X等社区获得了持续的讨论热度。
很多人可能会误以为Orca是一款更擅长对话的大语言模型、追求视觉效果的视频生成工具，或是仅面向机器人的动作策略模型，但实际上，它选择了一条更基础的技术路线：先让模型学习统一的世界状态表征，再基于该表征解锁理解、预测与行动能力。简单来说，Orca的核心目标是回答两个关键问题：当前世界处于何种状态？以及该状态在自然演化、外部事件或人为干预下，会如何转移到新的状态——这也是团队提出的Next-State Prediction（下一状态预测）研究方向。
团队曾用一个生动的比喻解释这一思路：“我们不会让一个3岁小孩进工厂，打10万小时螺丝。”当前多数AI模型的训练逻辑恰恰类似：语言模型被训练预测下一个词，视频模型学习生成下一帧，具身模型模仿下一个动作——看似任务不同，但本质都是让模型直接针对单一输出目标反复练习。这种路径确实能在特定任务上取得效果，但一个尚未理解世界底层逻辑的模型，仅靠“重复工位操作”真的能走向通用智能吗？Orca团队的答案是：训练顺序需要反转，不必急于让模型学习特定任务的输出，而是先为其补上一堂关于世界的“通识课”。
这也正是Orca的核心设计哲学——The World is in Your Mind（世界存于你的认知之中）。就像人类在学会语言之前，就可以通过观察风吹叶落等自然现象认知世界，在成长过程中又可以通过文字、说明书等语义信息理解具体事件，Orca将学习过程抽象为两类互补的模式：无意识学习与有意识学习。
第一类是无意识学习，模型通过连续的视频数据学习自然、稠密的状态变化，无需依赖显式的语言标注。比如观察物体的移动轨迹、手与物体的交互过程、场景随时间的演化逻辑，这类学习对应现实世界中大量无标注的连续观察数据，帮助模型捕捉自然动态的底层规律。
第二类是有意识学习，模型引入语言与事件信息，让状态转移不仅来自连续的视觉观察，还可以被语义条件约束。语言可以描述具体事件、任务意图或目标状态，模型需要建立当前观察与语言条件之间的关联，学习更稀疏但更具语义价值的状态变化模式。两类学习的共同目标，是构建一个可以表达世界状态、并支持状态转移建模的世界潜空间。
为了支撑这一训练目标，团队搭建了自动化的数据筛选与标注管线，从海量互联网数据中处理得到了包含12.5万小时视频、1.6亿条事件标注与1150万条VQA样本的大规模数据集。这些数据覆盖了第一视角交互、第三视角物体操作、机器人执行视频、自然动态场景、事件级状态转移与通用视觉问答等多种来源，确保Orca并非仅在机器人轨迹、图像编辑或单一问答数据上训练，而是从更丰富的真实世界信号中学习统一的世界潜空间。
在工程实现层面，团队基于自研的FlagScale框架进行了系统级重构，包括三项核心优化：一是FSDP2升级，实现更灵活的参数与优化器状态分片，并对轻量级视觉模块取消分片以降低调度开销；二是分块交叉熵损失（Chunked Cross-Entropy Loss），避免前向传播中一次性实例化完整的Logits张量，大幅降低显存峰值占用；三是前向/后向预取（Forward/Backward Pre-fetching），让FSDP的All-Gather通信与当前层计算充分重叠。在H100集群上，这些优化将训练吞吐量从StarVLA基线的0.66提升至2.91 Samples/Sec/GPU，实现了4.4倍的显著加速。
世界表征的概念听起来充满吸引力，但真正的关键在于如何验证其有效性。Orca的实验设计围绕两个核心问题展开：第一，随着预训练数据规模的增加，学到的世界潜空间是否会不断变强？第二，更强的世界潜空间是否能带来更优秀的下游任务能力？
为了准确验证这一点，团队没有采用端到端联合训练的方式，而是在下游任务阶段冻结Orca的主干网络，仅训练轻量的读出（readout）模块。这种设计的关键在于：如果采用端到端训练，最终效果提升可能来自下游解码器或策略网络的重新学习，无法确认世界潜空间的实际价值；而如果冻结主干后，仅更换轻量读出接口就能实现文本、图像与动作能力的提升，则可以证明真正提供有效信息的是Orca学到的世界表征。
基于这一思路，Orca设计了三类读出模块：文本读出用于验证模型能否将世界表征转化为理解与推理能力；图像读出用于验证模型能否根据当前状态与条件预测未来的视觉状态；动作读出用于验证模型能否将世界表征迁移到真实机器人控制任务中。这三类能力分别对应理解、预测与行动，也是一个通用世界模型应当具备的三大核心能力。
实验过程中，团队观察到一个重要现象：随着预训练数据规模的增加，Orca的训练损失持续下降，并未很快出现饱和。更关键的是，不同训练阶段的checkpoint显示，随着预训练的推进，文本、图像与动作读出模块的表现同步提升，这说明Orca探索的世界学习路线具备良好的扩展潜力。值得注意的是，所有对比结果均基于同一套预训练主干checkpoint，且未使用任何刷榜专用数据。
在文本生成与视觉问答任务中，Orca与多款视觉语言模型和世界模型进行了对比，在4B参数规模下，其在多项综合评测中取得了更高的平均表现。且这种提升并非简单的平均分堆高，而是集中在状态转移、事件演化、动态运动理解等核心维度上，这完全符合Orca的设计初衷：让模型理解画面中事物的后续发展、事件的推进逻辑，以及当前状态与未来状态之间的关联。对于一个世界模型而言，这比普通的视觉问答任务更具价值，因为真实世界并非静态图片的集合，而是一个持续动态变化的系统。
这与传统的图像生成模型有着本质区别。很多图像生成模型擅长生成视觉精美、符合先验知识的画面，但真实交互场景中的未来状态预测，要求模型严格遵循当前场景、物体关系、动作条件与物理约束：不能随意生成不存在的物体，不能让机器人本体凭空消失，不能破坏原有的空间关系，也不能偏离指令要求的状态变化。Orca的图像读出模块更注重验证“未来状态是否合理”，它可以更好地保持机器人形态、物体布局、场景一致性与指令约束，生成更符合真实交互过程的下一帧视觉状态。因此，Orca展示图像生成结果，并非为了证明自己擅长“画图”，而是将其作为可视化验证手段，确认模型是否真正理解了在特定条件下，当前世界应当如何演化。
Orca最受关注的实验之一，来自真实机器人的动作读出模块。在预训练阶段，Orca并未使用带有action label的机器人轨迹数据，也就是说，它没有提前学习机械臂的移动逻辑，也没有在大规模动作数据上模仿机器人策略。但在下游动作任务中，团队仅冻结Orca主干网络，接入一个从零开始训练的DiT-style Action Expert模块，且每个任务仅使用200条域内轨迹进行微调。实验结果显示，在物体泛化与场景泛化的分布外任务中，Orca依然能带来明显的性能增益。这一结果的重要意义在于：Orca并未通过预训练直接记住机器人动作模式，而是学到了世界状态变化的底层逻辑。尤其是在任务失败恢复的场景中，这一优势表现得更为明显。
为了进一步分析Orca的能力来源，团队还开展了消融实验，分别移除无意识状态转移、有意识事件转移与VQA语言监督三种训练目标，观察文本、图像与动作读出模块的性能变化。实验结果显示，三类训练目标各自承担了不同的作用，共同支撑了模型的世界表征学习能力。
Orca团队并未宣称已经完成了通用世界模型，而是在技术报告中充分讨论了当前存在的局限。该项目的真正价值，在于为当前纷乱的世界模型研究提供了一个新的参考坐标系：世界模型不应被单一的输出模态所定义，而应当聚焦于学习世界的表征方式、变化规律，以及如何通过这种表征支持理解、预测与行动任务。
未来，这一技术路线的应用场景并不局限于机器人领域，物理系统、生命过程、宏观宇宙、微观量子、科学实验等领域，本质上都包含状态、干预与状态转移的逻辑。不同领域当然需要适配的数据集与建模方法，但“学习世界状态如何变化”这一核心问题，具备更基础的研究意义。AI的下一阶段发展，或许不再是更快地输出答案、生成画面或执行动作，而是先在模型内部建立一个足够稳定、可预测、可迁移的世界认知模型。The World is in Your Mind.
塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/
AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。
