智在无界Being-M0.7:人形机器人全身移动操作隐式世界模型

过去两年,人形机器人赛道的竞争重心已经从整机硬件研发,转向了底层模型能力的比拼。不少厂商推出的新品能完成翻跟头、跳舞甚至马拉松跑等动作,但行业共识也逐渐清晰:决定机器人能力上限的早已不只是关节与电机,能否理解环境、预判变化并协调全身完成任务,才是通用人形机器人落地的核心关键。世界模型、VLA与人形机器人基础模型,也因此成为近两年具身智能领域的核心技术方向。
在这片赛道的热闹背后,三个长期困扰行业的难题始终未能得到很好的解决:其一,人形机器人真机演示的数据采集成本极高,需要同步记录第一人称视频、本体感知数据与可执行的全身指令,受制于遥操作难度、安全风险、硬件可得性与环境多样性,很难在短时间内积累大规模高质量的数据集;其二,现有不少世界动作模型沿用像素级视频预测路线,不仅计算开销巨大,大量算力还会被消耗在与控制关联较弱的画面细节上,加上机器人快速运动带来的视角抖动,会进一步放大视觉预测的噪声;其三,许多现有方案仍将上肢操作与移动控制分开建模,上下半身协调性不足,难以支撑自然流畅的全身控制动作。
针对这些行业痛点,具身智能企业智在无界发布了Being-M0.7,这是全球首个面向人形机器人全身移动操作的隐式世界动作模型,也是业内首次将隐式世界模型能力从桌面灵巧操作场景,扩展到全身移动操作领域的模型。该模型依托超10000小时以人为中心的混合模态数据完成预训练,再通过少量真机演示数据完成本体适配,并在真实人形机器人上完成了多项高难度的全身移动操作任务。
Being-M0.7的背后,是该团队坚持多年的技术研发路线。作为全球最早押注大规模人类视频训练路线的具身智能企业之一,该团队同时布局通用灵巧操作与通用移动灵巧操作两条模型主线,也是国内首个推出原生具身隐式世界动作模型的团队。其核心判断在于,机器人真机演示数据昂贵且稀缺,很难像互联网文本与视频那样持续扩大规模;而人类每天都在用第一人称视角与物理世界交互,海量的人类行为数据中蕴含着场景演化、物体动力学与身体协调的丰富先验知识,与其等待机器人数据缓慢积累,不如先让模型从人类经验中学习世界的运行逻辑,再将这些知识迁移到具体的机器人本体上。
今年4月发布的Being-H0.7,已经验证了这一技术路线在灵巧操作侧的可行性。该模型将训练数据规模扩展到20万小时人类视频,在6项国际性评测中取得综合排名全球第一、其中4项登顶的成绩,同时成为首个覆盖跨本体、跨场景、连续动态、流体、柔性物体、物理规律和上下文推理七大关键维度的通用具身世界模型。
如果说Being-H系列回答的是“手如何操作世界”,那么Being-M0.7则聚焦于“整个身体如何在世界中协调移动与作业”。人形机器人的移动灵巧操作要求模型同时决策行进路径、身体朝向、手脚配合方式与姿态稳定性,这是一个在时间与身体维度上都高度耦合的复杂问题,也是通用人形机器人无法绕开的能力关口。
与许多依赖像素级视频生成的世界模型不同,Being-M0.7在隐空间中预测未来环境状态,并将其与紧凑的全身运动表征耦合在一起。像素级预测不仅计算成本高昂,还会将大量算力浪费在与控制无关的外观细节上,第一人称视角下的剧烈自身运动与视角抖动更会让预测充满噪声;而隐空间预测则将建模能力集中在语义状态、物体布局与场景演化这些与控制直接相关的结构上,既保留了世界模型预判未来的核心能力,又大幅降低了计算开销。
物理理解如何转化为全身行动?
为了验证模型的真实能力,团队公布了四个涵盖高难度场景的真机Demo,分别覆盖液体交互、镜像推理、长程任务与遮挡避障四类挑战场景,核心检验机器人能否根据对环境与未来变化的预测,持续生成与当前场景匹配的全身动作。
鱼缸捞鱼
机器人走到水箱前,使用手持网具捞取水中的玩具鱼。液体没有固定形状,会流动并对浸入的物体产生浮力与阻力,水面折射还会让水下目标的视觉位置发生偏移,机器人需要理解水、渔网与鱼之间的相互作用,在视觉信息被水体扭曲的情况下协调手臂完成动态目标的工具化捕捞,这项任务考验了模型的未来状态预测、工具使用与不确定物体动力学下的动作协调能力。测试结果显示,Being-M0.7在5次捞鱼尝试中成功3次,对比方案的成功率分别为2/5与1/5。
镜像取物
机器人面前有一个仅在背面与侧面开口的盒子,盒内物品从机器人自身视角完全不可见,唯一的线索来自前方镜子的反射。机器人需要根据镜中画面推断隐藏物体的真实三维空间位置,再接近盒子并伸手抓取,这要求模型理解镜子、盒子与物体之间的空间关系与镜面反射原理,在部分可观测的条件下将间接视觉证据转化为可执行动作。在与两款主流方案的真机对比测试中,面对0.5米与1米两种距离设置,Being-M0.7分别在5次测试中成功3次与1次,总体成功率为4/10,而对比方案的总体成绩均为1/10,这一结果表明Being-M0.7在需要间接视觉推理、全身接近与精细抓取的部分可观测任务中,具备更强的适应能力。
移动置物取物
机器人行走至桌前,将一个篮子里的法棍转移到另一个篮子,再从篮中拿起花束转身离开。这项任务由多个子任务串联而成,机器人需要在行走、抓取、转移、转身等行为间连续切换,并在整个过程中保持对场景的持续理解,考验的不只是单次抓取成功率,还包括长程任务中的状态保持、物体级空间推理,以及移动与灵巧操作之间的全身协同能力。
搬箱避障
机器人抱着箱子前行,前方出现障碍后没有完全停下重新规划,而是调整身体朝向侧身穿过狭窄空间。搬运物体占据了部分第一人称视野,同时改变了机器人的负载与重心,模型需要结合已有环境信息与实时反馈判断可通行区域,调整行走方向与全身姿态,同时保持自身平衡与所载物体的稳定,将多方向移动、避障与负载感知操作统一进同一个闭环行为中。
这些演示都证明,这款机器人并非按照固定轨迹开环执行,而是结合当前观测、实时反馈与对未来的预测,持续生成并修正全身动作。
MoT架构与统一运动表征,破解具身数据稀缺难题
支撑上述能力的,是Being-M0.7在数据与架构层面的关键设计。人形机器人需要通过第一人称视觉信息完成空间感知,同时输出未来要执行的运动与控制指令,但高质量人体运动数据通常需要动作捕捉设备获取,视觉与运动严格对齐的第一人称配对数据则更为稀缺。如果模型只能使用同时包含视觉与运动的数据,可训练数据的规模将受到严重限制,而Being-M0.7要解决的核心问题,正是如何让配对数据、纯视频数据与纯运动数据共同参与训练。
团队选择了Vision-Motion MoT(混合Transformer多模态架构),该架构为视觉与运动保留各自的模态专属投影与处理模块,同时通过共享的多模态注意力实现跨模态交互。视觉状态变化与连续运动具有不同的数据分布,无需被强行压入完全相同的参数体系;当两种模态同时存在时,又可以在共享上下文中交换信息,这让模型能够同时兼容三类数据:对于视频-运动配对数据,模型联合学习未来环境状态与运动轨迹;对于纯视频数据,仅计算视觉分支的训练目标;对于纯运动数据,则仅训练运动分支。不同来源的数据通过同一个训练目标共同约束模型,无需分别训练多个彼此割裂的单模态系统。从概率建模角度来看,配对数据刻画了视觉与运动之间的联合关系,单模态数据则为这一联合分布提供了边际约束,即便数据模态不完整,也能被纳入同一个训练框架。
基于这一架构,团队构建了超10000小时的混合模态预训练数据,涵盖人类第一人称视频、第一人称视频与运动的配对数据,以及纯人体运动序列。另一项关键设计是人类与人形机器人共享的统一运动表征:Being-M0.7提出了一种统一的动作表示,将不同来源的人体运动数据转换为以头部为根节点的统一表示,使其与第一人称视觉天然对齐,通过统一坐标系、消除初始朝向等标准化处理,降低了不同数据集之间的分布差异,提升了跨数据源的一致性。进一步地,模型采用了仅保留头部、双手与双脚的紧凑运动表示,在保留关键交互与接触信息的同时,有效弥合了人类与机器人之间的形态差异,该表示不仅为机器人后训练提供了比动作标签更丰富的监督信号,还能在推理阶段提供运动层面的反馈,支持全身协同控制。
在预训练阶段,模型通过视觉编码器将图像映射至隐空间,并使用紧凑统一运动表征,采用流匹配目标进行训练,根据一段短时间的视觉-运动历史与任务指令,联合预测未来状态变化与运动轨迹。在真机数据采集环节,团队搭建了一套基于VR的全身遥操作系统,操作员佩戴VR头显、脚踝追踪器与手持控制器,由系统实时估计人体姿态,再转换为机器人可执行的全身控制指令,机器人在遥操执行动作的同时,记录机载第一人称视角图像、本体感知与运动控制指令,作为Being-M0.7特定任务的后训练微调数据。
由于模型已经在预训练阶段建立了视觉-运动先验,真机数据无需从头教授所有运动规律,主要承担两项任务:一是将预训练先验落地到人形机器人的具体控制空间;二是学习真实机器人所需的低层控制命令与反馈机制。这一过程由轻量级动作专家完成:动作专家读取隐式世界动作模型的中间隐藏状态,将其作为高层规划上下文,结合当前视觉观测、本体感知信息与执行进度,生成机器人可直接执行的动作块。
推理阶段,模型以较低频率生成未来的视频-运动规划,并将中间隐藏状态转换为可复用的策略缓存。统一运动表示不仅融合视觉与本体感知反馈,还利用机器人最新的运动状态对预测的全身运动规划进行校正,使策略能够及时响应身体与末端执行器的运动偏差。动作专家则复用当前策略缓存,以较高频率连续生成动作,并在缓存刷新时无缝融入最新机器人反馈,该设计实现了低频世界规划与高频动作控制的解耦,在保证实时性的同时,让机器人始终受到长期规划与实时反馈的共同引导。
可扩展的融合范式,通往更通用的具身智能
Vision-Motion MoT架构的意义不止于解决Being-M0.7的训练问题,更确立了一套可持续扩展的多模态融合范式。这套范式最直接的改变发生在数据层面:超10000小时的混合模态数据,将人形机器人模型训练可用的监督信号来源,从昂贵稀缺的真机演示,扩展到了海量的人类行为数据,数据瓶颈的松动是任何规模化训练法则得以成立的前提。
与此同时,Being-M0.7还调整了模型学习的顺序:在被适配为机器人可执行指令之前,模型先从大规模人类中心数据中学习视觉上下文、未来动态与人形运动学结构,随后动作专家再将这些预测与运动先验转化为具体机器人的控制命令。换言之,模型先建立对未来状态与身体运动的预测能力,再学习如何在特定本体上行动,这与直接从机器人示教中学习动作映射的传统模仿学习方案有着本质区别:后者往往从“看到什么、输出什么动作”开始,而Being-M0.7在动作生成之前加入了一层对未来状态-运动的联合建模。
更重要的是,这套架构并不要求所有新增数据都具备完整的视觉-运动配对,经过清洗与处理后,单独的人类视频与运动序列都可以被纳入同一个模型,随着数据规模进一步扩大,这套融合范式也有望持续拓展能力边界。
放到整个行业的坐标系中,Being-M0.7的发布或许代表着人形机器人竞争逻辑的一次变化。过去几年,行业的注意力更多集中在谁的本体更灵活、谁的运动演示更惊艳,但随着硬件性能持续提升,模型能否理解场景、预测变化并生成协调的全身动作,以及背后是否存在可以持续扩大的数据体系,将越来越成为拉开差距的关键。大语言模型的发展已经证明,可规模化的数据与训练飞轮,往往决定一条技术路线最终能够走多远,具身智能正站在相似的临界点上:真机数据无法像互联网语料一样快速增长,机器人还可以从哪里获得持续进化所需的经验?
从Being-H到Being-M,该团队的判断是让机器人先从人类行为中学习世界,再把这些知识转化为真实物理空间中的行动。当理解成为行动的前提,通用人形机器人才真正走出了实验室叙事,开始通向千行百业的物理世界。


