蚂蚁灵波LingBot-Video：具身智能专属视频物理引擎开源
专为具身智能打造的专用视频生成模型终于正式登场了。
这就是蚂蚁灵波刚刚开源的LingBot-Video——全球首个面向具身智能的大规模MoE视频基础模型，同时也是一款专业的视频物理引擎。
不少人会有疑问，当前不少通用AI视频生成工具也能制作机器人操作的画面，比如切西红柿、收纳物品等，那LingBot-Video的特殊性在哪里？
事实上，普通的通用视频生成模型更多聚焦于视频时长、视觉美学、画面画质、运镜风格等方向，而LingBot-Video从架构、训练数据到优化目标，全链路都是为机器人、人形智能体量身定制的，其核心优先级是生成内容是否符合真实物理规律。
这款模型的核心优势十分显著：
- 采用MoE架构，实现模型容量与推理成本的最优平衡；
- 总参数量达300亿，但推理阶段仅激活约30亿参数即可完成生成任务；
- 引入超70000小时的具身相关视频数据，覆盖机器人操作、自主导航、第一视角观测等多种场景；
- 训练过程中加入多维奖励系统，将物理合理性与任务完成度纳入核心优化目标；
- 在RBench评测基准中，表现超过了业内通用视频生成的标杆模型。
LingBot-Video开源后引发了行业的广泛讨论，有相关从业者评价，其价值远不止于视频内容生成，大规模的训练数据让模型对现实世界的互动逻辑拥有了更深刻的理解。
要理解这类具身专用视频模型的必要性，我们可以对比通用视频模型与具身视频模型的差异。通用视频模型的训练目标围绕视觉质量、语义对齐、运动流畅性展开，人类观众更在意画面的光影、构图、风格等观感体验。
但机器人对世界的认知逻辑截然不同：它们看到一个杯子时，不仅要识别物体，还要判断伸手触碰后杯子的运动状态；看到一条路径时，需要预判行进过程中是否会遇到障碍物。因此，内容创作类视频和具身智能专用视频，本质上属于两套完全不同的评价体系。
通用视频生成中偶尔出现的穿模、物体凭空消失、动作违背物理惯性等问题，对于短视频创作来说可能只是轻微的瑕疵，观众最多吐槽一句“AI感过重”。但如果用这类存在逻辑错误的视频训练机器人，就会让智能体学到错误的世界运行规则，比如误以为手可以穿透物体、杯子可以自动复原、液体可以悬浮在空中。
而LingBot-Video生成的视频，核心目标就是让机器人的“大脑”掌握真实的物理运行规律。
我们可以通过几组典型场景来直观感受这款模型的能力：
首先是工业生产场景：机械臂在产线上完成零件抓取、放置、定位，甚至焊接、精密加工等动作，模型需要保证末端执行器、工件、工作台之间的相对空间关系在连续帧中保持稳定，这正是机器人需要学习的核心能力——识别物体、靠近物体、作用于物体并预测状态变化。
其次是更复杂的动态场景：比如第一视角的滑雪镜头，从雪坡快速滑下时雪雾、坡面、身体姿态都在快速变化；或是人形机器人在雪道上与滑雪者并行绕旗门前进，这类场景考验的是机器人对空间的理解、运动预测以及动态环境建模的能力。
还有机器人球类运动场景：排球场上机器人起跳挥臂击球，足球场上完成摆腿射门，球的飞行轨迹与机器人的肢体动作形成明确的对应关系，这也更接近我们期待的具身智能应有的灵活运动能力。
要让视频模型真正适配具身智能的需求，首先要从架构层面入手。LingBot-Video采用了MoE架构，这也是其技术亮点之一。
我们可以用简单的比喻来理解两种架构的差异：传统的Dense密集模型就像一个大办公室，每接收一个任务，所有员工都要同时参与工作，优势是运行稳定，但成本极高——模型参数规模越大，单次调用的计算成本就越高。而MoE架构则更像一个大型专家库，当有任务到来时，不需要所有专家都出动，只调用与任务最匹配的一组专家即可完成处理。
LingBot-Video的总参数量达到300亿，但借助MoE架构，单次视频生成仅需要激活约30亿参数参与计算。这不仅大幅降低了推理成本，也让模型的扩展方式从单纯堆砌参数，转变为按需激活计算资源。
对于机器人训练、策略评估、动作规划这类需要大量模拟与试错的场景来说，如果每次生成视频都需要激活全部参数，成本会高到难以落地，而LingBot-Video的架构设计恰好解决了这个痛点。
具体来看，视频生成需要模拟连续的物理世界，处理复杂的运动轨迹、三维空间一致性、材质纹理等复杂分布。稀疏MoE架构可以在固定计算预算下扩大模型的参数容量，将总参数规模与每个Token实际激活的计算量解耦。根据官方实验数据，MoE30B-A3B模型在1M Token长度下，对比Dense6B、Dense14B、Dense30B模型的推理速度分别达到1.50×、2.59×和3.18×，同时可以保持接近30亿参数规模模型的推理效率。
除了架构设计，LingBot-Video的另一大技术亮点在于其训练数据的构建思路。
大语言模型能够快速发展的一个重要原因，是互联网上天然积累了海量的文本数据。但机器人领域并没有类似的“通用数据集”，互联网上不存在数十亿小时的机器人动作视频数据。真实的机器人数据需要通过遥操作、真实设备与场地逐步采集，不仅成本高昂，采集速度也很慢；而仿真数据虽然可以快速获取，但从仿真环境中学到的技能，迁移到真实世界时往往会遇到sim-to-real gap（仿真到现实的鸿沟）问题。
LingBot-Video选择了第三条路径：将通用互联网视频与具身智能数据相结合。根据官方技术报告，模型引入了超过70000小时的具身导向视频素材，覆盖机器人操作、自主导航、第一视角观测等场景，包含真实机器人、仿真环境、开源数据集、第三人称视角以及人形机器人、四足机器人等多种平台类型。
这些数据并非简单拼接，而是在训练流程的特定阶段，针对稀缺但高价值的具身数据进行了“少筛选、多保留”的处理，避免被海量的普通互联网视频稀释了核心数据的价值。所有素材都会经过五维结构化标注，精准标记物体、材质、动作时间戳、受力交互关系；同时采用课程式五阶段渐进训练，从低清静态图像开始逐步过渡到高清长时序视频，让模型循序渐进地掌握复杂的物理交互逻辑。针对机械操作、精密抓取这类长尾场景，团队还通过分布感知采样进行加权强化，补齐小众工业、家用机器人场景的生成能力。
最后，模型的训练还加入了强化学习环节，进一步优化生成质量。
传统的视频生成模型仅以画面美观度、文本匹配度作为优化目标，并不会对物理逻辑进行约束。而LingBot-Video搭建了一套分层强化学习奖励体系，从三个维度同步约束生成结果：
- 感知维度：保障画面清晰度、文本描述匹配度、动态流畅度；
- 物理维度：这是模型的核心优化指标，需要校验物体无穿模、无凭空消失、运动符合重力与惯性规律、材质受力形变合理；
- 执行维度：校验机器人肢体结构完整、动作流程可落地、任务目标完整完成。
训练过程中采用了GRPO组相对策略优化方案，并搭配负感知微调来规避奖励黑客问题。同时，模型原生支持Action-to-Video动作条件生成，只需输入机器人的动作指令，就可以直接输出后续完整的视觉变化过程，能够直接对接机器人的运动规划模块。
此外，模型还配套了级联精炼方案：先生成480p的基础时序画面以保证运动逻辑的正确性，再将画面精炼至1080p的高清画质，从而平衡推理速度与画面细节表现。
在官方的评测对比中，LingBot-Video与NVIDIA Cosmos3、LongCat-Video、LTX-2.3等开源模型进行了对标。结果显示，在TI2V任务中，LingBot-Video在开源竞品中达到SOTA水平，在整体质量与具身领域两项得分中均位居第一；在T2V任务中，虽然整体质量排名第二，但具身领域得分仍超过了Cosmos等竞争基线。除此之外，LingBot-Video在RBench评测基准中也超越了业内通用视频生成的标杆模型。
从LingBot-Video的开源，我们可以看到视频生成赛道的一个新的发展方向：将视频模型作为世界模型，为机器人提供低成本、可反复试错的物理世界模拟器。
这款模型的价值可以分为三个核心层次：
第一层是Data Engine数据引擎：真实的机器人训练数据成本高昂、采集缓慢，如果视频物理引擎能够生成足够可信的动作过程与场景变化，就可以为机器人训练提供大量低成本的高质量数据。
第二层是Policy Evaluator策略评估器：在真实世界中进行机器人策略试错存在较高风险，尤其是工业机械臂、人形机器人、四足机器人这类复杂系统。视频模型可以在虚拟视觉环境中先运行一遍策略，提前观察可能的执行结果，从而降低真实测试的风险与成本。
第三层是Action Planner动作规划器：机器人在面对真实场景时，可以借助LingBot-Video预测“执行这个动作后会发生什么”，从而辅助决策规划与异常预判。官方技术报告也明确将LingBot-Video定位为面向机器人社区的数据引擎、策略评估器与动作规划器。
这也解释了为什么视频生成模型正在从内容创作赛道，向外溢出到世界模型与具身智能赛道。李飞飞创办的World Labs押注空间智能，试图让AI理解、生成并交互3D世界；LeCun团队的V-JEPA 2则直接从视频自监督学习切入，探索让模型理解、预测并规划物理世界……这类布局都表明，具身智能已经成为下一阶段人工智能竞争的核心领域。
当然，目前具身智能专属视频生成模型仍有不少需要演进的方向，比如长时序一致性、柔性物体与液体等复杂物理交互、视频预测能力向真实机器人闭环的转化，以及具身视频模型的评测标准建设等。但LingBot-Video至少证明了一个重要的趋势：视频生成模型正在从单纯的内容生产工具，向物理世界模拟器方向演进。
或许在不远的未来，视频生成的终点未必是影视内容创作，它也可能成为下一代机器人大脑的重要起点。
GitHub:
https://github.com/robbyant/lingbot-video
Tech Report:
https://arxiv.org/pdf/2607.07675
Project Page:
https://technology.robbyant.com/lingbot-video
HuggingFace：
https://huggingface.co/collections/robbyant/lingbot-video
Model Scope：
https://www.modelscope.cn/collections/Robbyant/LingBot-Video
塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/
AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。
