文章摘要
面壁智能在行业展会期间开源MiniCPM - Robot系列模型(含1.5B的MiniCPM - RobotManip和0.9B的MiniCPM - RobotTrack),并推出开源具身智能推理框架PhyAI。该系列模型在记忆、实时性等方面表现出色,搭配框架可打破具身智能落地难困境,相关资源已开源。

当两台协作机械臂有条不紊地完成取面包、夹生菜火腿叠三明治的全流程,或是一只四足机器狗在从室外到地下车库的复杂环境里,始终精准跟随指定目标——哪怕电梯间信号微弱也不会跟丢,你很难想象,支撑这些流畅实操的,只是两款参数量分别仅为1.5B和0.9B的轻量化具身智能模型。

这是面壁智能在行业展会期间正式开源的MiniCPM-Robot系列模型,同时配套推出了开源具身智能推理框架PhyAI。这套完整的具身智能组合,正在打破“展台Demo亮眼、落地场景受限”的行业痛点。

目前MiniCPM-Robot系列包含两款核心模型:

  • MiniCPM-RobotManip:通用视觉语言动作模型,负责让机械臂理解任务并完成实操,也就是开头制作三明治的核心模型
  • MiniCPM-RobotTrack:机器人跟踪与导航模型,让机器狗能根据自然语言指令在动态环境中持续锁定目标

MiniCPM-RobotManip虽然参数量仅1.5B,但在LIBERO、Calvin、RoboTwin2等主流VLA评测榜单中,整体表现已进入第一梯队,和π0.5等模型处于相近水平。真正拉开差距的,是模型的上下文记忆能力。

多数传统VLA模型仅依赖当前单帧画面做决策,比如让机器人点击第二个按钮5次时,很容易因为记不住已完成次数,出现按一次就停止或是一直长按的失误。而MiniCPM-RobotManip会整合历史观测数据和已执行动作,能清晰感知任务进度并精准终止动作。在专门考察上下文记忆的RMBench评测中,π0.5仅获得约10分,接近随机水平,而MiniCPM-RobotManip达到了约53分。

这种记忆能力对长周期任务至关重要,叠衣服、整理桌面这类看似简单的日常操作,都包含一连串连贯动作,只有具备上下文记忆能力,才能避免中途“失忆”,完整完成全流程任务。

除了记忆能力,实时性也是机器人操作的核心指标。面壁提供的对比数据显示,在H100显卡、bf16精度下,MiniCPM-RobotManip单次决策延迟约为120毫秒,仅为π0.5的一半左右。对于机械臂来说,每一次动作停顿都会让整体操作变得僵硬拖沓,更低的延迟能让动作衔接更流畅,这也是小参数量模型带来的核心优势之一。

MiniCPM-RobotManip的轻量化设计,离不开面壁在多模态模型领域的长期积累。该模型基于MiniCPM-V 4.6训练而来,该模型开源不到两个月下载量就突破200万,而面壁的MiniCPM-V/O系列已经迭代两年多,总开源下载量超过2500万,多年积累的多模态理解能力被顺利迁移到机器人领域。

机器人执行动作时需要处理多摄像头画面和文本指令,且每秒需要重复多次计算,如果每帧画面都生成大量视觉Token,随着任务推进计算量会快速膨胀。MiniCPM-RobotManip通过压缩视觉Token,过滤掉桌面纹理、墙面图案等与任务无关的冗余信息,仅保留关键内容,大幅降低单次推理的计算量。

同时,模型采用流式计算方式,复用已处理的历史信息,无需每次都重新计算全部历史数据,就像看连续剧时无需从头重看,只需承接最新剧情即可。这种设计既降低了计算成本,也让机器人能保留更长周期的任务记忆,同时避免计算量随任务时长暴涨。

1.5B的参数量也经过了精准适配:面壁将200毫秒视为机器人操作体验的临界阈值,超过这个时间就会出现明显卡顿。目前主流VLA基础模型参数量多控制在4B以内,继续增大参数量能带来多少实际操作收益,行业仍在验证,而1.5B的尺寸刚好适配机器人的实时运行需求。

MiniCPM-RobotTrack则走了另一条轻量化路线,整体参数量为0.9B,以MiniCPM4-0.5B为基础打造,主打端侧跟踪导航能力。它主要针对三类真实场景进行测试:单目标跟踪、多人干扰下的目标锁定,以及模糊指令下的目标识别。

比如用户只说“跟着穿黑衣服的人”,当现场有多个着装相近的目标时,模型需要结合画面上下文精准识别指定对象。在未经过下游强化学习优化的情况下,MiniCPM-RobotTrack在三类任务上的追踪率分别达到89.8%、73.4%和80.4%,均位居开源方案的最优水平。

相比OpenTrackVLA,三项指标分别提升7.0、14.6和6.5个百分点;在相同的单视角纯SFT设定下,和闭源模型TrackVLA++相比,单目标跟踪和模糊目标跟踪的追踪率分别高出8.8和17.0个百分点,其中模糊目标跟踪成功率达到58.0%。

MiniCPM-RobotTrack将视觉画面、自然语言指令和机器人控制决策整合到同一个模型中统一处理,无需额外安装目标检测、识别或跟踪模块,也不需要外接开发板,仅依靠原装摄像头和本地算力,就能完成三类跟踪任务。针对合作机型的系统级优化后,该模型在原生本地算力上可以稳定达到5Hz以上,端到端响应延迟约180毫秒,完美适配端侧运行需求。

真实环境中存在大量训练数据未覆盖的长尾场景,比如目标突然横穿镜头、快速转向被短暂遮挡、多人交叉走动等,这些场景很容易让模型出错。面壁为此搭建了一套自进化数据管线:先清洗原始数据,剔除异常轨迹、错误动作和无效交互,再让模型在仿真和真实机器人环境中持续运行,主动暴露薄弱环节,最后将这些易出错的场景收集起来,通过专家策略进行纠偏后放回训练流程,相当于给模型配备了自动更新的错题本,经过多轮闭环训练后,各类长尾场景的应对能力会持续提升。

本地部署的优势在演示场景中体现得尤为明显:电梯、地下停车场这类场景往往信号较差,MiniCPM-RobotTrack无需将画面上传云端等待服务器返回结果,摄像头数据和用户指令都在本地处理,哪怕拔掉网卡,机器狗依然能完成目标识别、跟踪和运动控制。本次开源不仅包含模型权重,还提供了环境安装、模型加载、摄像头接入、文本指令输入、控制接口和一键启动脚本,用户仅需准备对应硬件就能快速完成部署。

除了MiniCPM-Robot系列,本次同步发布的还有开源具身智能推理框架PhyAI,由合作团队联合研发。具身模型从实验室到真实机器人需要经过硬件适配、量化、算子优化和部署等多个环节,不同VLA和世界模型的结构差异巨大,每次发布新模型都要重新适配,会产生较高的时间和工程成本。

PhyAI的目标就是缩短这一适配周期:在RTX 5090上运行π0、π0.5和GR00T时,PhyAI相比官方仓库分别实现约2.85倍、1.82倍和2.28倍的加速;适配MiniCPM-Robot系列模型时,通过CUDA Graph将推理帧率从10.12Hz提升到33.28Hz,再加入定制融合算子后,在NVIDIA H20上进一步提升到36.77Hz。这个框架解决的是模型落地的工程效率问题,让优秀的具身智能模型能更快部署到真实硬件中,覆盖更多应用场景。

具身智能行业从不缺乏精彩的展台Demo,但真正的挑战在于离开展会环境后,机器人能否稳定落地运行。相关领域专家曾提到,现阶段不少机器人Demo会围绕单一任务采集大量数据并针对性优化,展示效果无法完全代表基础模型的真实进度。行业从业者更看重模型的基础性、泛化性和通用性,希望先打磨好数据、基础设施和工程链路,让基础能力提升后自然覆盖更多场景。沿着大语言模型的发展路径,具身智能最终也会走向“先通后专”,先理解物理世界的基本常识,再成为特定场景如做饭、叠衣服、仓储作业的专家。

面壁也将端侧能力作为核心布局方向,目前已经落地多个合作项目:和乐聚机器人合作推出了展厅导览Agent和园区巡检Agent,将端侧多模态大模型、机器人本体和导航系统整合在一起。展厅导览机器人可以在无网环境下基于本地知识库完成离线讲解和自由问答,理解展厅环境和用户指令,规划导览路线并完成避障;园区巡检机器人则能识别车辆违停、路面异常和公共设施问题,敏感画面直接在本地处理,数据完全留在客户侧,兼顾隐私合规和功能实用性。

和吉利汽车的合作则延伸到了生产仓储场景,双方共同训练VLA模型,通过RoboHarness将VLM、VLA、机器人本体和导航系统整合在一起,让机器人执行仓储长程任务。RoboHarness相当于物理世界的Agent执行框架,上层VLM负责任务规划,VLA和导航系统作为可调用工具,框架还会管理长任务的上下文和记忆,遇到任务失败时自动重试恢复,每次任务完成后的运行数据还会进入可治理的数据闭环,持续帮助模型进化。

面壁本次发布的整套具身智能体系已经清晰成型:MiniCPM-RobotManip负责实操执行,MiniCPM-RobotTrack负责导航跟踪,PhyAI负责快速部署适配,再结合多个落地合作案例,正在打破行业“Demo好看落地难”的困境。

在大语言模型时代,人们习惯用参数量衡量模型能力,但当AI真正拥有实体并进入物理世界后,参数量只是其中一个指标,更重要的是实时响应能力、上下文记忆能力、端侧运行能力、成本控制能力和异常恢复能力。1.5B和0.9B的小参数量,恰恰回答了具身智能落地的核心问题:当AI长出手脚,不仅要足够聪明,还要跑得动、用得起,最终能稳定完成真实场景中的任务。

目前该系列模型和框架已开源,相关资源可通过以下链接获取:

  • GitHub仓库:https://github.com/OpenBMB/MiniCPM-Robot
  • HuggingFace模型地址:https://huggingface.co/openbmb/MiniCPM-RobotManip、https://huggingface.co/openbmb/MiniCPM-RobotTrack
以上内容不代表本平台立场,仅供读者参考