MIT韩松团队PEAR:大模型赋能机器人 保留通用能力

近年来,两款面向具身智能的模型接连推出,引发了行业的强烈反响,甚至催生了“通用大模型可包揽机器人所有任务”的乐观预期。不少开发者纷纷尝试将这类模型接入机器人,完成各类复杂操作。但随着探索深入,模型规模过大带来的问题逐渐凸显:高昂的推理成本、无法满足实时控制需求的响应延迟,以及端侧算力、功耗和散热的限制,都让这类强大的模型难以直接落地应用。如何让通用大模型能被机器人低成本使用、顺畅运行,成了行业新的难题。
不过这一现状正在改变。麻省理工学院韩松团队推出了一款名为PEAR的机器人后训练项目,该项目将参数规模达270亿的千问模型与真实双臂机器人相结合。
项目团队展示了两个实机演示效果:研究者输入梵高《星空》的内容,机器人通过夹爪在白板上画出了线稿;桌上摆放碘水、酚酞、乙醇三瓶试剂,当被问及如何验证溶液是否呈碱性时,机器人选择了酚酞试剂并滴入,溶液变为粉色。


PEAR基于开源的Qwen3.8-27B模型,训练过程完全不需要人类遥操的演示数据,也无需任何真实机器人的操作数据,仅在仿真环境中通过强化学习完成训练。训练完成后,该模型直接应用于从未接触过的双臂YAM真机上,30次测试中成功18次,而训练前的成功率仅为0。该模型的通用性更强,执行指令的能力也优于同类模型π0.5,在LIBERO模式下的表现几乎能与Astra Max相媲美。
在RTX 5090显卡上,PEAR的运行速度可达每秒220个token以上,完全可以在本地运行。值得注意的是,PEAR在AIME、GPQA、LiveCodeBench等九项通用基准测试中的得分与原模型几乎一致,这意味着模型在学习机器人操控能力的同时,并未失去数学、编程等通用能力。

用电脑的方式,就是用机械臂的方式
机械臂的操作本质上与电脑操作非常相似,只是一个是二维空间交互,一个是三维空间交互。比如智能体操作电脑时,会分析“保存按钮在右上角”,然后输出坐标指令,操作系统控制鼠标移动。PEAR对机械臂的操作逻辑完全一致:每一轮输入三路摄像头画面和机械臂当前的关节状态,模型通过思维链分析“夹爪在橡皮正上方,将手指降到橡皮两侧”,然后输出包含末端执行器目标位姿的JSON数据,通过逆运动学算法算出关节角,驱动机械臂完成动作。每一轮的交互数据会被加入上下文,供下一轮决策使用。

整个过程没有额外的感知模块、抓取规划器或技能库,定位物体、规划路径、判断偏差等工作都由模型从相机画面中自主完成。这套训练方案被称为Robot-Use RL,与前沿模型学习使用电脑的逻辑完全相同。
具身上逼近Astra的小模型
LIBERO是机器人操控领域的经典基准测试,包含四个子套件,共2000个评测任务。原模型Qwen3.8-27B的零样本成功率仅为1.6%,经过RL训练后的PEAR达到74.4%。对比同类闭源模型:Astra medium档成功率49.3%,max档76.2%;GPT-6.1 Sol medium档48.1%,max档80.6%,PEAR采用的是xhigh档配置。

在原版LIBERO任务中,π0.5的成功率为96.9%,PEAR为74.4%,差距看似明显。但当引入两个扰动版本LIBERO-Plus和LIBERO-Pro后,结果发生了显著变化。

LIBERO-Plus主要扰动观测条件,两个模型的下降幅度接近;LIBERO-Pro则直接改变任务目标和物体布局。两种关键扰动的表现差异尤为突出:任务替换时,π0.5的成功率从96.9%骤降至0.75%,下降96.2分;PEAR从74.4%降至57.4%,仅下降17分。布局替换时,π0.5跌至20.8%,下降76.1分;PEAR落到57.5%,下降16.9分。
π0.5在指令措辞改写、物体外观替换的扰动中仍保持领先,因为这两种情况下正确的运动轨迹未变,它记住了训练时的运动模式,模式适用则高分,失效则完全失败;而PEAR保留了基础模型的指令理解和视觉感知能力,通过强化学习学会根据当前画面和指令重新生成位姿,一个在模仿,一个在推理,任务条件变化时的差距巨大。
纯仿真训练
PEAR的训练流程全程在仿真环境中完成,未接触任何真实机器人数据,迁移测试从三个维度展开。

新任务方面,模型在LIBERO-Goal、Spatial、Object上训练后,零样本在LIBERO-Long上的成功率达39.0%,底座仅为0.4%,从几乎零能力跃升至近四成。新机器人和新仿真器方面,RoboDojo是完全不同的仿真环境,机械臂从单臂换成双臂,PEAR仅在LIBERO上训练,直接在新环境的general_pickup任务上成功率达39.9%,底座为10.7%,提升近四倍。新基准测试方面,RoboLab-120包含120个桌面任务,PEAR训练后跑出37.3%的成功率,底座5.4%,与NVIDIA Cosmos3-Nano-Policy的36.8%几乎持平,高于其余通才机器人策略。
真机测试中,研究者将模型应用于从未出现过的双臂YAM机器人,测试分两组:Align blocks组用三角尺摆直线,10次测试;General pickup组抓取10种物体,20次测试。底座模型Qwen3.8-27B在真机上完全失败,中间检查点成功率7/30,完整版成功率达18/30,即60%。

完全保留模型通用能力
通过强化学习学习机器人操控后,模型的推理、编程、视觉能力是否还保留?评测结果显示,模型依然保持强大的通用能力:AIME 2026数学竞赛得分98.5,GPQA Diamond科学知识测试得分89.7,LiveCodeBench代码能力测试得分88.4,所有视觉基准测试的得分与基础模型的差距均不超过2分。这意味着,同一个模型如今既能完成推理、编写代码、回答图像相关问题,也能操控真实机器人。

消费级GPU即可运行
每步动作前都需要走思维链,解码速度直接决定机械臂的响应节奏。推理栈采用NVFP4权重量化加DFlash2 drafter配置,不同硬件的解码速度不同:Apple M5 Max为52 tok/s,单张RTX 5090可达221 tok/s,单张GB300达747 tok/s。以GB300为例,xhigh档一回合思考约4.3秒,low档约1.1秒,推理时的effort可调,low档思考token约0.86k,LIBERO成功率从74.4%降至21.9%,成功率与思考量基本成正比。

一个带思维链的270亿参数机器人模型,在消费级GPU上就能实时驱动机械臂,其实用意义可能远超60%的真机成功率本身。PEAR验证了一条重要技术路线:当基础模型推理能力足够强时,仿真环境中的强化学习可教会模型操控真实机械臂,无需复杂感知管线、技能库或大量遥操作数据。
更重要的是,PEAR在展示通用模型具身操作潜力的同时,也大幅降低了实现这种能力所需的模型规模和算力门槛。过去行业常将机器人智能寄托于更大的模型、更多数据和昂贵算力,而PEAR提供了另一种可能:机器人未必需要专门训练的庞大“大脑”,也可通过相对轻量的通用模型获得实用操作能力。当然,距离复杂开放的真实物理环境还有很长的路要走,但PEAR让行业看到,通向通用机器人智能的道路或许更多元、更经济。

