文章摘要
近期,清华大学与加州大学伯克利分校的研究团队提出了一套名为「统一机器人智能体工具链(uni-robot-agent)」的跨环境统一工具链,专为具身智能体(Robot-UseAgent,即具身操作智能体

近期,清华大学与加州大学伯克利分校的研究团队提出了一套名为「统一机器人智能体工具链(uni-robot-agent)」的跨环境统一工具链,专为具身智能体(Robot-Use Agent,即具身操作智能体)的训练设计。在这套工具链上,开源模型 Qwen3.8-Flash-Next 在 RoboDojo 基准测试中取得了 31.39 分,超过了闭源模型 GPT-6 Astra 公开的 28.97 分,且单局调用成本仅为后者的约 5%。

这项成果的核心突破在于为开源模型搭建了可复用的具身操作基础,打破了此前闭源模型在该领域的成本与技术门槛。过去,具身智能体研究常受限于高成本调用、闭源权重无法自主部署、无法基于交互数据迭代等问题,统一机器人智能体工具链的设计正是瞄准这些痛点展开。

研究团队总结了当前具身智能体发展的三大核心障碍:首先是成本问题,机器人操作需要反复调用模型处理多视角图像与交互数据,大规模实验的成本难以承受;其次是自主性限制,闭源模型无法自主部署到本地硬件,也难以针对机器人交互优化推理流程;第三是学习闭环缺失,闭源模型无法利用机器人交互产生的轨迹数据更新权重,难以形成持续迭代的能力。

为解决这些问题,统一机器人智能体工具链采用了四大设计原则:

跨环境统一:工具链中的感知、运动、技能、流程控制四类模块在仿真与真实环境中共用一套定义,仅通过适配器适配不同环境的差异,确保能力可跨环境迁移,工程上仅需维护一套核心工具。

模块化设计:框架由运行时引擎、上下文策略、感知后端、动作模型、环境适配器等独立组件构成,每个组件可单独替换或开关,方便研究者开展二次开发与组件重要性的消融实验。

真实世界对齐:模型仅能获取真实环境中可直接采集的信息,如本体感知数据、机器人描述文件、固定相机的标定参数与任务指令,不依赖仿真环境的隐藏标注或捷径,确保工具链的实用性。

并行加速:耗时的物理动作可在后台异步执行,模型无需等待动作完成即可推进后续任务,通过排队机制优化资源利用,提升操作效率。

在性能测试中,团队分别在仿真环境与真实硬件平台验证了工具链的泛化性。仿真测试显示,Qwen3.8-Flash-Next 搭配工具链的组合取得 31.39 分,不仅优于基线模型 GaP 的 21.01 分,也超过了 Astra 搭配其他工具链的 28.97 分;同时 DeepSeek-V4.1-Flash 取得 27.11 分,Astra 自身取得 51.90 分,证明工具链可适配不同模型,并非针对单一模型优化。

在真实双臂夹爪平台的测试中,团队设置了 19 个涵盖空间理解、物体泛化等维度的任务。Qwen3.8-Flash-Next 在未见过真机数据的情况下取得 53.50 分,高于同环境下微调后的模型 π0.5 的 47.75 分;Astra 搭配工具链则达到 80.50 分。此外,工具链还可适配 Franka 机械臂与 Sharpa 灵巧手,完成抓取玩偶、按按钮等复杂操作。

为明确模型能力的边界,团队开展了两组控制实验:一是移除空间深度信息,结果显示闭源模型 Astra 几乎不受影响(得分从 55.83 降至 55.04),而开源模型 Qwen3.8-Flash-Next 得分从 35.89 降至 31.39;进一步移除相机标定信息后,Astra 仍保持 31.29 分,Qwen 则降至 9.13 分,说明标定信息对开源模型的空间推理至关重要。

另一组实验是关闭技能库功能,结果显示 Qwen 的得分仅从 31.39 降至 30.31,成功率仅下降 0.42 个百分点,证明工具链的表现并不依赖预设技能,而是依靠基础的推理与反馈处理能力。

通过分析模型的交互轨迹,团队发现具身任务的失败主要源于四个环节:视觉识别错误(如数字混淆、物体方向判断错误)、空间定位失败(跨视角对应点不匹配)、几何计算错误(坐标变换与动作计算偏差)、动作合理性判断不足(如夹爪朝向或位置选择错误)。进一步的相关性分析显示,模型的具身推理与多模态理解能力是完成任务的关键指标。

这项成果的另一重要意义是降低了具身智能体的研究门槛:开源模型的单任务成本仅约 1 美元,远低于闭源模型的 21 美元,252 次完整评测的成本不到 300 美元,而闭源模型则需超过 5000 美元。同时,开放权重允许研究者将模型部署到本地,利用交互轨迹持续训练,形成“交互-积累-训练-优化”的闭环,为具身智能体的长期迭代提供了可能。

统一机器人智能体工具链是 OpenRUA 项目的首个开源成果,该项目旨在为物理世界中的智能体构建开放基础,推动具身智能的普及研究。

以上内容不代表本平台立场,仅供读者参考