蚂蚁灵波LingBot-Video：用开源模型解决机器人训练数据难题

近期，一款专为具身智能打造的视频生成模型正式开源，这款名为LingBot-Video的工具，旨在解决机器人训练领域长期存在的数据匮乏难题。

和大语言模型依赖海量公开文本数据不同，具身智能的训练需要大量带有物理交互属性的视频数据，比如机械臂抓取物体、人形机器人行走的完整过程。但这类经过精准标注的机器人专用视频在互联网上极度稀缺，传统的人肉采集方式需要人工远程操控机器人逐帧录制，成本极高且难以规模化，即便是行业内规模较大的公开数据集，也远不及通用互联网视频的体量。而仿真器训练虽然能生成部分数据，但普遍存在“虚拟到真实”的适配鸿沟，虚拟环境中训练的技能很难直接迁移到现实场景中。

很多人会想到直接使用现有通用视频生成模型来生成数据，但这类模型的核心目标是服务于内容创作，优先优化的是画面美学、一致性、时长等指标，并不关注物理规则的准确性。比如常见的物体穿模、凭空消失的问题，在通用视频生成中并不影响观看体验，但如果用在机器人训练中，会直接导致模型学习到错误的物理逻辑，最终无法在真实场景中正常工作。

定制化的具身智能视频生成方案

针对这一痛点，相关团队推出了LingBot-Video，这款模型专门针对具身智能的训练需求进行了定制优化，通过融合通用互联网视频数据和海量具身交互数据，生成符合物理规则的机器人训练视频。

30B容量，高效适配训练需求

LingBot-Video采用了30B总参数、3B激活的MoE架构，能够高效模拟流体、刚体、材质等物理特性，同时支持多种镜头运动。这款模型的另一大优势是运行速度快，可以满足机器人训练过程中需要的大量模拟、预测和试错需求。

模型的训练数据包含超过7万小时的具身数据，来源涵盖真机采集、仿真数据、开源数据集等，覆盖了机械臂、人形机器人、四足机器人等多种机器人类型。这些数据主要分为三类：

• VLA：也就是视觉（V）、语言（L）、动作（A）三件套，比如「拿起杯子」这个指令对应什么动作序列、杯子在这个过程中状态怎么变化
• VLN：按语言指令在空间里导航，就像「走到厨房然后左转」这种场景
• Ego-vision：第一视角数据，也是最接近机器人看世界的方式

为了最大化数据价值，团队将视频字幕进行了结构化处理，将每个动作拆分为带时间戳的阶段，让模型能够学习到完整的动作逻辑：什么时间、对什么物体、执行了什么操作。

模型的训练分为五个循序渐进的阶段：

第一阶段：192p，纯图片：仅输入视频第一帧，让模型建立基础的视觉理解，包括物体形态、材质和场景结构，此时将图片视为单帧视频进行训练。

第二阶段：192p，图片+视频：开始加入完整视频数据和具身数据，让模型学习时间维度上的帧间关系和镜头运动逻辑，完成文生视频的基础训练。

第三阶段：480p，图片+视频：将分辨率提升至480p，同时解锁图生视频任务，即通过初始帧预测后续画面的演化过程。

第四阶段：480p，图片+视频：调整数据配比，从通用视频中精选高质量的运动数据，同时完整保留具身数据，将模型的优化方向从“画质优先”转向“物理准确性优先”。

第五阶段：1080p，纯视频：使用最高质量的数据完成最终精修，同时额外训练了一个分辨率提升模型，将480p的输出升级到1080p，仅优化清晰度而不改变已学习的运动和物理逻辑。

严格的物理校验机制

为了确保生成的视频数据能够直接用于真实机器人训练，团队还加入了多维度的强化学习验证机制。

在感知层面，通过两个模型分别校验：一个基于HPSv3评估视觉质量，逐帧检测模糊、伪影和低分辨率问题；另一个将文本描述拆分为结构化动作序列，通过大模型逐时间窗口核实文本和视频内容的对齐情况。

在物理性质层面，三个模型分别负责：通过VLM为运动强度打分（1-5分），避免模型生成静态画面；基于Pulse-of-Motion校正视频的运动速度，解决通用模型常见的慢动作问题；从拓扑结构、面部变形、手部畸形、肢体数量、身体半透明五个维度评估人体一致性。

最后还有一个物理感知模型，逐帧验证四项核心物理规则：运动因果（无外力则物体不会自主移动）、物体恒存（物体不会凭空消失或穿模）、材质真实性（不同材质的运动符合物理特性）、任务完成度（文本指令中的动作是否真正执行完成）。

出色的具身任务表现

团队将LingBot-Video与多款开源模型进行了对比测试，包括Cosmos 3、Wan 2.2、混元1.5、LongCat-Video、LTX-2.3。虽然在整体画质评分上并未全面领先，但在具身智能相关的物理准确性任务中取得了最高分，甚至超过了英伟达的物理AI模型Cosmos3。

在具体案例对比中，LingBot-Video生成的视频中，桌上的黄苹果不会凭空消失，机械手的姿态也能严格匹配给定的动作指令，完美解决了通用模型的物理逻辑漏洞问题。

落地价值与使用方式

回到最初的痛点，机器人训练数据既稀缺又昂贵，而LingBot-Video可以批量生成符合物理规则的训练数据，同时还可以作为视觉模拟器，用于评估机器人策略、预测后续场景变化，辅助实时决策。

有兴趣的朋友可以通过以下链接了解更多细节并体验相关功能：

GitHub：github.com/robbyant/lingbot-video

技术报告：https://arxiv.org/abs/2607.07675

Project page：technology.robbyant.com/lingbot-video

Huggingface：huggingface.co/collections/robbyant/lingbot-video

Model Scope：www.modelscope.cn/collections/Robbyant/LingBot-Video

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/

AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。