招商局发布驭物具身模型 破解机器人三维认知难题

当人类依靠直觉就能轻松分辨的空间、状态变化,放到机器人的“具身大脑”中却成了难以逾越的障碍。比如,画面里物体的二维上下位置,并不等同于它在真实三维空间里的高度;更换拍摄角度,家具的外观会发生变化,但它仍是同一个物体;画面内物体的位移,可能源于物体本身移动,也可能只是相机镜头的转动……这些细微的变化,人类一眼就能识别,但对机器人来说,却是棘手的难题。
视角变化混淆物体身份、误判相机运动、错估任务进度,都会直接导致机器人执行失败。因此,要让机器人可靠完成现实任务,模型不能仅仅做到“看见物体”,更要读懂三维空间关系、捕捉物体状态变化、研判任务所处阶段。
近日,招商局先进技术研究院下属狮子山人工智能实验室发布了具身推理视觉语言模型「驭物™ Lion-ER-35B-A3B」。该模型采用混合专家(MoE)架构,总参数约35B,每个Token仅激活约3B参数。在不显著增加推理开销的前提下,模型在十项主流具身相关基准上实现全部指标上涨,多项核心能力超越更大参数量的主流模型,走出了一条区别于大规模堆砌训练数据的技术路线,有助于机器人真正理解三维物理世界。
过往几年,不少研究项目不断拓展机器人训练数据的边界,但随着数据规模扩大,一个核心问题逐渐凸显:更多数据并不等于更强能力。已有研究表明,在既有机器人数据集内,仅调整不同数据域的训练权重,就能明显影响下游任务表现。
「驭物™ Lion-ER-35B-A3B」的核心亮点,并非单纯提升模型参数量,而是搭建了一套能力牵引的具身数据引擎,摒弃盲目收集海量数据的传统做法,转而围绕模型需要掌握的能力做正向设计,再依靠评测发现短板,通过闭环迭代优化数据。
为了实现这一目标,团队梳理出了一张细粒度的“能力蓝图”:将具身推理拆解为实体、空间、时序、物理、可供性、任务、社会、证据等8个一级领域,细化出39项二级能力;同时,把推理方式、输入形式和回答形式作为独立维度分开标注,避免不同分类维度混用造成的重叠。这张蓝图不仅定义了模型需要学习哪些能力,还明确了这些能力应在何种条件下被调用。
真实任务往往涉及复合能力,例如判断物品是否放置到位,既需要任务进度判断,也需要空间关系推理。因此,团队在蓝图阶段就分别记录主能力与辅助能力,把不可拆分的联合任务单独列出;在训练采样时,还会考虑不同因素的组合与留出,避免某类能力始终绑定在少数固定场景、物体或提问方式上。
有了能力蓝图,如何落地生成训练题目?团队将这套流程命名为“能力编译”:把抽象的能力目标,逐项拆解、落地为“需要什么场景、怎样组织观察、提出什么问题、依据什么确定答案”。以跨视角推理为例,首先要明确提供给模型的视角数量、需要在多张画面之间建立关联的目标物体,以及判定方位时所采用的观测者位置与朝向;同时还要核验素材本身,确保模型拿到的视觉信息足以支撑推导出可靠答案,如果关键视角缺失、证据不足,这类题目就只能依靠猜测,不能纳入合格训练样本。
这类构题规范由目标能力本身驱动,不需要等到评测暴露错题之后再被动补充数据。能力蓝图预先规划好需要覆盖的能力范围,评测则承担查漏补缺的角色,后续定位模型依旧薄弱的环节。团队设计了三条可互相组合的构题路径:从已有问答与视觉标注中转换、从观察素材中发现证据、从结构化条件与关系中推导,将抽象的能力要求转化为具体、可作答的训练题。
在监督核验层面,团队采用三条互补路线:
- 数据提纯:对已有数据进行清洗与修订,排查图像顺序、问题指代、选项与答案映射,修复有据可查的错误,并控制重复曝光。
- 几何构题:针对具备可靠位姿、深度和物体对应关系的素材,先算出固定答案和推理所需的中间关系,再让模型在这些事实约束下生成问题与解释。
- 定向合成:当现有监督不足时,基于真实图像或视频素材定向构造问答,合成的问题与标注需经过独立作答或额外审核,模型给出的答案绝不直接当作真值。
整套流程始终坚持一项原则:保留有证据的难题,排除缺证据的伪难题。模型答错不是删掉样本的理由,多个模型给出相同答案也不能单独证明答案正确。对于模型持续失误的高难样本,团队引入了人工复核机制,搭建面向复杂具身任务的可视化核验平台,通过多视角对照、时序回放与证据标记等能力强化人工审查,帮助审核人员还原关键视觉线索与推理依据,避免将模型能力边界误判为数据问题。
有了合格的训练题目,还需做好训练资源分配。「驭物™ Lion-ER-35B-A3B」的监督训练集共包含312380条样本,训练时按能力需求分配训练预算,而非由数据源的题量决定权重。样本重点覆盖空间几何、多视角对应、动作轨迹、任务规划等核心具身能力,团队会减少同质化重复题目,将训练资源投向薄弱的推理类型;样本从候选、审核到入训全程留痕,训练配方可追溯、可调整。
正向设计建立了能力覆盖,但模型究竟学会了没有、哪里还有盲区?这一步交给了“评测驱动的数据迭代机制(Eval-Driven Data Harness)”。在这套机制里,评测不再是训练结束后的成绩单,而是下一轮数据生产的起点:发现错题后,先核查标注、画面证据、评分是否存在问题,再区分偶发失误与系统性能力短板;确认存在能力缺口后,从覆盖31个数据源、约430万条记录的素材池中,检索推理逻辑相同、场景不同的新素材,经构题核验后加入训练,再通过新一轮评测验证效果。
例如,模型容易将画面二维上下位置等同于三维高度,团队就优先选择具有上下多层可放置支撑面的场景,让模型需要结合空间结构判断高低;再给左右、前后关系增加遮挡和透视变化,覆盖更容易混淆的情况,同时结合分割、深度和几何约束,核验放置区域是否合理。简而言之,能力蓝图提供覆盖方向,评测驱动机制持续校准盲区,数据不再是一次性的静态供给,而是随模型能力持续演化。
在这套能力牵引的数据引擎加持下,「驭物™ Lion-ER-35B-A3B」以仅约3B的推理激活参数,在十项公开基准上实现全部指标正向提升,部分指标超过参数量更大的模型。评测采用avg@4口径,即每道题让模型独立作答4次,取平均分,最终等权综合均分达到65.29。
从单项成绩来看:
- Where2Place空间放置评测得分为64.28,较基座提升9.30分;
- ERQA具身推理基准得分64.38,较基座提升6.19分;
- 空间推理基准SAT达到89.33;
- ERQA的轨迹理解子类达到68.18,相较基座提升12.12分。
整体结果显示,「驭物™ Lion-ER-35B-A3B」在十项基准上得分均高于所用基座。
下面四道案例全部来自公开评测基准,同一道题目,「驭物™ Lion-ER-35B-A3B」与其他两款模型分别独立作答4次,展现了模型在核心能力上的优势:
第一道案例考察相机运动判断:两张图片来自机械臂第一人称相机的连续拍摄,瓶子在画面中整体向上偏移,问题是相机正在朝哪个方向转动。对比模型仅答对1次,另一款模型全部答错,「驭物™ Lion-ER-35B-A3B」通过两帧画面的变化规律,正确判断相机向下转动,4次作答全部答对。这道题的核心是区分画面中物体位置变化的来源:是物体本身在移动,还是相机自身发生了转动。
第二道案例考察动作轨迹交互推理:机械臂的目标是把充电器从插线板拔下,放到画面右侧,需要选择正确的轨迹。两个对比模型都被向右延伸的紫色长弧线误导,选择了这条无法接触充电器的无效路线;「驭物™ Lion-ER-35B-A3B」逐一排查后,发现红色偏向插线板左侧、紫色无法接触充电器、黄色伸向后方软管,只有橙色轨迹能够先抵达充电器,完成拔取后移动到右侧目标位置,4次作答全部正确。这道题考验的核心是将目标、路线与具体操作联系起来,不仅要看轨迹通向哪里,还要判断它能否接触目标、完成任务。
第三道案例考察跨视角空间映射:题目给出同一住宅内拍摄的三张照片,蝴蝶挂画只出现在第三张,要求判断拍摄第一张照片时,挂画位于拍摄者的什么方向。解这道题需要串联多张画面、重建空间布局,拍摄第一张照片时,拍摄者站在楼梯底部、面朝台阶,客厅在他身后,因此挂画位于拍摄者后方。两个对比模型都答成了“左侧”,4次作答无一答对,「驭物™ Lion-ER-35B-A3B」4次判断全部准确。这道题的难点在于切换到题目指定的拍摄位置与朝向,完成跨视角的空间推理,而非仅仅识别物体。
第四道案例考察任务状态进度识别:任务指令为把桌上的寿司卷放进锅里,问题是视频当前时刻,第一步“移动到寿司卷”是否已经完成。基座模型4次作答中有3次误判该步骤“已完成”,另一款模型也有半数回答做出同样误判,「驭物™ Lion-ER-35B-A3B」4次最终答案均判断为“尚未完成”。这道题的关键是区分机械臂“正在靠近寿司卷”与“已经移动到位”这两个状态,画面里出现动作不等于对应任务步骤已经达成,模型需要观察动作带来的状态变化,核对目标状态是否达成,一旦误判进度,机器人就会提前执行后续动作,整套时序流程都会出错。
四道案例分别对应相机运动判断、动作轨迹交互推理、跨视角空间映射、任务状态进度识别,都是机器人将语言指令转化为物理动作的核心能力。当下,能够对话、看懂图片的多模态大模型已经十分常见,但真正面向真实物理世界,提升机器人能力的“具身大脑”依旧稀缺。机器人要完成现实世界作业,不能只做到识别画面内容,还需要区分视觉表象与三维真实空间。
「驭物™ Lion-ER-35B-A3B」带来的,不只是一组亮眼的分数,更是一套可复用的方法论:让能力成为数据的设计单元,让评测成为数据生产的起点。从能力蓝图到数据配方,从一次评测失败到一批新的训练数据,每一步都有明确的目标、可核查的证据和可追溯的记录。
目前,「驭物™ Lion-ER-35B-A3B」已在 hugging脸平台开源权重,采用BF16 Safetensors格式,原生兼容Transformers、vLLM、SGLang等主流推理框架。开发者可以围绕空间关系理解、场景状态分析、任务进度判断和空间约束理解等方向开展评测与适配,结合自己的图像、视频和任务,探索具身问答、场景决策分析与机器人系统集成。
相关团队表示,后续将面向具身智能体,拓展工具调用、多轮交互与执行反馈等方面的训练数据,探索长程任务中的连续决策与失败恢复,持续迭代这套能力牵引的数据引擎,为机器人在真实环境中完成任务提供支撑。

