蚂蚁灵波LingBot-VLA 2.0开源:6万小时数据打造通用VLA模型

一款全新的开源视觉-语言-动作(VLA)通用具身模型,依托总计60000小时的真实物理世界预训练数据正式发布,这就是团队推出的LingBot-VLA 2.0。
这套预训练数据分为两大来源:其中50000小时来自覆盖20种不同机器人构型的真机轨迹数据,剩余10000小时则是从2万小时第一视角人类操作视频中提炼出的有效样本。对比半年前发布的LingBot-VLA 1.0,本次模型的数据规模直接从20000小时实现了三倍增长。
先来看看这款模型的实际表现:搭载LingBot-VLA 2.0的机器人可以完成一整套连贯的冰箱收纳任务——从操作台上拿起饮料、水果放入收纳篮,拎起篮筐移动到冰箱前,打开冰箱门将物品逐一放入后再关上箱门,整个长序列操作流畅丝滑,没有明显的卡顿和失误。
除了冰箱收纳,这款模型还能应对更贴近真实厨房场景的清理灶台任务:面对炉灶、锅架、清洁海绵等杂乱摆放的桌面物品,机器人需要先挪开障碍物并妥善放置,再精准拿起海绵擦拭灶台表面,最后将所有工具归位,完整经受了真实环境下的连续决策与精细交互考验。
调料收纳任务则进一步考验了机器人的双臂协同与空间感知能力:需要准确识别不同调料瓶的位置、间距与桌面结构,仅凭视觉画面不足以完成任务,必须具备清晰的空间认知能力。而LingBot-VLA 2.0默认融合了LingBot-Depth模块,能够精准把握机器人自身与周围空间的相对关系,顺利完成这类高复杂度的协作任务。
值得一提的是,数据规模的提升只是这款模型亮点的一部分,从技术细节来看,其核心升级还包括多个维度:
- 支持覆盖20余种不同的机器人构型,适配更多类型的硬件本体
- 将动作空间从双臂拓展至头部、腰部、移动底盘、灵巧手等更完整的自由度范围
- 融合LingBot-Depth模块,大幅提升机器人的空间理解与感知能力
- 在英伟达RTX 4090硬件平台上,推理延迟可控制在130ms以内
不少行业观察者认为,开源具身模型的快速迭代正在加速机器人技术在真实物理世界的落地应用。
从技术实现路径来看,LingBot-VLA 2.0的核心目标是打造一套可复用的通用具身操作基座,而非为单一机器人本体定制的专用模型。团队希望通过同一套算法框架,让模型能够快速迁移到不同硬件构型、不同应用场景与不同任务类型中。
接下来拆解这款模型的技术升级逻辑,首先从数据层面来看:早在LingBot-VLA 1.0发布时,行业就已经发现真实世界机器人数据的积累与模型能力提升呈现正相关,且目前尚未看到明显的性能天花板。本次LingBot-VLA 2.0进一步推进了这一方向,其数据管线从9万小时原始数据中清洗出5万小时高质量真机轨迹数据,再结合提炼出的1万小时人类操作视频数据,最终形成6万小时的预训练数据集。
相较于单纯的数据量增长,更关键的是本次数据集覆盖了更丰富的机器人形态、多视角拍摄、多样任务类型与多种动作模式。技术报告中列出的支持机器人构型包括Leju、Franka、AgileX、ARX Lift2、Galaxea R1Pro、Astribot S1、Unitree G1、Fourier GR-2、AgiBot A2等,总计20种不同的硬件本体。
与语言模型依赖文本数据不同,VLA模型需要学习视觉、语言与动作的联合表征:不仅要理解“将水果放入冰箱”这类自然语言指令的含义,还要掌握机械臂如何接近目标物体、夹爪何时闭合、移动底盘何时启动,以及冰箱门打开后空间关系的动态变化。更丰富的训练数据能够让模型学到更通用的物理世界操作规律。
除了数据维度的升级,LingBot-VLA 2.0的另一大核心突破是打通了不同机器人的动作空间。不同类型的机器人在关节结构、夹爪设计、底盘配置上存在巨大差异,从双臂机械臂到人形机器人,硬件本体的差异性极强。要让同一套VLA模型适配不同硬件,就需要将这些异构的动作参数映射到统一的动作空间中。本次升级将动作空间从双臂拓展至头部、腰部、移动底盘、灵巧手等多个自由度,能够支持复杂任务下的多自由度协同操作。
另一项极具创新性的升级是模型加入了未来状态预测能力。传统的VLA模型大多采用反馈式执行逻辑:根据当前画面生成动作,执行完成后再根据下一帧观测结果修正后续操作。这种闭环方式虽然能够完成基础任务,但在长序列复杂操作中容易出现累积误差。
LingBot-VLA 2.0引入了未来深度预测与语义特征预测模块,让模型在生成动作的同时能够同时理解当前状态并预判未来变化。具体来说,团队为视觉与文本Token额外添加了两组可学习的Query Token,分别对应当前时刻与未来时刻;再分别通过负责几何信息的LingBot-Depth模型,以及负责语义与时序信息的自研视频表征模型DINO-Video进行蒸馏监督,让模型不仅能够理解眼前的场景,还能提前预判物体位置、空间关系与任务状态的后续变化。
综合来看,LingBot-VLA 2.0的技术升级可以总结为四点:训练数据更充足全面、覆盖的机器人本体更广、动作空间更完整,同时具备了前瞻式的时序理解能力。
模型的性能优劣也可以通过标准化评测得到验证。本次LingBot-VLA 2.0在GM-100通用多任务基准上选取了9个测试任务,与GR00T N1.7、π0.5以及LingBot-VLA 1.0进行横向对比;同时还在两个长程移动操作任务中与π0.5进行了对标。
需要说明的是,GM-100基准考察的是同一个模型在多个任务上的综合表现,而非针对单个任务分别训练调优后拼接的结果,因此这类评测更贴近真实落地场景,更能反映VLA基座模型的通用能力。
在AgileX Cobot Magic平台上,LingBot-VLA 2.0的整体平均成绩达到66.2/34.4,优于GR00T N1.7的36.3/17.8、π0.5的59.1/32.2以及LingBot-VLA 1.0的58.2/30.0。在Galaxea R1 Pro平台上,LingBot-VLA 2.0的整体平均成绩为34.6/15.6,进度分领先于其他三款模型,成功率与LingBot-VLA 1.0持平,但高于GR00T N1.7与π0.5。
团队还开展了两项针对性测试:使用Astribot S1完成物体放入冰箱的任务,使用Cobot Magic-ARX X5完成清理灶台的任务。每个任务都设置了ID(分布内)与OOD(分布外)两种实验环境,每组进行15次独立重复实验。其中OOD环境下会扰动机器人的初始位置,在冰箱收纳任务中还会替换为模型未见过的物体类别,用于测试模型的泛化能力。
测试结果显示,在冰箱收纳任务中,LingBot-VLA 2.0在ID环境下的成绩为77.1/60.0,π0.5为65.3/46.7;在OOD环境下,LingBot-VLA 2.0的成绩为37.0/13.3,π0.5为30.3/6.7。在清理灶台任务中,LingBot-VLA 2.0在ID环境下的成绩为84.3/66.7,π0.5为79.9/60.0;在OOD环境下,LingBot-VLA 2.0的成绩为67.5/40.0,π0.5为62.5/33.3。
从行业视角来看,LingBot-VLA 2.0的意义远不止于一款性能更强的模型。过去一年,机器人硬件本体的迭代速度极快,乐聚、智元、星动纪元等企业都在推进不同形态的机器人产品,人形机器人、双臂机械臂、移动操作平台等硬件类型快速更新。
硬件类型的丰富也带来了新的问题:每一种机器人都有独特的关节构型、传感器配置与控制逻辑,不同应用场景也存在不同的物体布局、空间条件与任务要求。如果为每一种硬件本体、每一个任务都重新开发专用算法,不仅开发成本极高,规模化落地也会面临巨大阻碍。
LingBot-VLA 2.0正是瞄准了这一行业痛点,尝试打造通用化的具身智能大脑:通过大规模的真实物理世界数据让模型接触更多操作场景,通过统一的动作表示抹平不同硬件本体之间的差异,再结合LingBot-Depth模块与未来预测能力,进一步提升机器人对空间与时间的理解能力。
从更长远的行业趋势来看,具身智能领域可能会出现明确的分化方向:机器人硬件本体将持续呈现百花齐放的态势,而通用具身大脑的技术路线则会逐渐收敛。
就在不久前,该团队还发布了LingBot-Depth 2.0,本次又推出LingBot-VLA 2.0,不难看出其在具身智能领域的持续布局。早在今年1月,该团队就曾针对具身智能领域推出过一系列技术产品,后续也有望继续推出更多相关进展,对具身智能感兴趣的从业者与爱好者可以持续关注。
相关技术报告、项目页面、代码库与模型资源链接如下:
技术报告:From Foundation to Application: Improving VLA Models in Practice
报告地址:https://github.com/robbyant/lingbot-vla-v2/blob/main/assets/LingBot_VLA_2_0.pdf
项目页面:https://technology.robbyant.com/lingbot-vla-v2
代码库:https://github.com/robbyant/lingbot-vla-v2
Hugging Face:https://huggingface.co/collections/robbyant/lingbot-vla-v2
ModelScope:https://modelscope.cn/collections/Robbyant/LingBot-VLA-V2
塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台,致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴,你不仅可以学习众多AIGC类实战课程,获得与时俱进的AIGC技能和视野,还有机会获得长期商业合作和接单机会!点击进入:https://www.tahou.com/
AI生成内容提示:本文由人工智能辅助创作,内容仅供参考,不代表平台观点。请注意核实信息的准确性,并理性判断。




