文章摘要
为明确通用编程智能体在机器人任务中的能力边界,多所高校联合推出“具身第一考”统一评测框架,经覆盖47种机器人的千余项任务测试,最强智能体在类真实场景的标准模式下任务完成率仅47%,远低于特权模式的80%,重置能力对性能提升的作用更显著。

编程智能体如今已能在数字世界中完成各类复杂任务,借助标准化的编程接口,它们也可被用来指挥物理世界中的机器人行动。不过,机器人任务与纯软件任务存在本质差异:智能体仅能通过传感器获取环境信息,动作一旦发出便难以撤回,且环境不会为智能体的思考过程暂停等待。因此,研究人员提出了一个核心问题:通用编程智能体究竟能完成哪些类型的机器人任务?它们能在哪些物理约束下成功运行,又会在哪些环节出现失败?

为解答这一问题,来自多所高校的研究人员共同设计了一套名为“具身第一考(Embodied First Exam,简称EFE)”的统一评测框架,该框架可将各类编程智能体接入仿真机器人系统,用于测试其在机器人任务中的表现。

这项研究带来了四项核心成果:

  • 统一评测任务集:规模庞大、类型丰富、难度较高。 这套任务集包含1156项具体任务,覆盖47种不同类型的机器人,远超传统桌面抓取放置类任务的范畴;在核心的456项高难度测试中,性能最强的编程智能体在标准模式下仅能完成约一半的任务。

  • 三种评测模式,直观反映真实应用差距。 在同一批391项核心任务中,性能最强的智能体在“特权模式”(可读取完整仿真状态、不限次重置,相当于开卷考试)下能完成80%的任务,而在“标准模式”(仅依赖传感器观测、默认不可重置,对应真实机器人条件)下仅能完成47%的任务。

  • 统一基础设施,易用性极强。 用户仅需一条命令即可启动评测,更换智能体框架或模型仅需修改两个参数;智能体控制机器人的方式灵活多样,可选择直接下发指令、编写控制程序,或训练特定策略。

  • 系统级失败分析,定位差距根源。 研究人员以某款主流智能体为对象开展对照实验,发现“重置能力”比“精确状态读取能力”对性能提升更关键——智能体能准确感知环境,不等于能精准完成动作;同时,研究人员标注了10款智能体的6027次失败尝试,发现不同智能体常常在同一阶段出现失败;在特定任务中,若提供GPU和训练工具,智能体也会主动选择训练策略来优化表现。

这套评测任务集的规模与多样性远超以往:共包含1156项任务、2288项测试(一项任务在一种模式下计为一项测试),覆盖35个任务集、23个仿真器平台,以及8类共47种机器人(包括单臂、双臂、人形、四足等类型)。除改编自已有基准的26个任务集外,研究团队还新增了9个任务集、411项任务,覆盖了桌面抓取放置之外的多种能力,例如解绳结、组装家具、用灵巧手翻书、临摹画作、接住抛球、完成乒乓球或击剑比赛、仅通过目标画面完成任务、识别危险请求等。

研究团队筛选出456项高难度任务作为核心测试集,排除了简单任务和已被部分模型解决的任务,评测了10款主流智能体的表现。结果显示,性能最强的智能体在核心测试中仅完成50%的任务,其余智能体的完成率则更低,从34%到10%不等;实时模式下的任务难度更高,54项同时支持标准和实时模式的任务中,近一半(46%)无人能完成,而标准模式下这一比例为35%。

为模拟不同的应用场景,评测框架设计了三种难度递进的模式:

  • 特权模式: 可读取完整的仿真环境状态,支持不限次重置,相当于开卷考试,其成功率可视为智能体性能的理论上限。

  • 标准模式: 仅提供传感器观测数据,默认不可重置,对应真实机器人的实际运行条件,相当于闭卷考试。

  • 实时模式: 在标准模式基础上,智能体思考时环境持续运行,进一步增加了任务难度。

在391项同时支持特权和标准模式的核心任务中,性能最强的智能体在特权模式下完成311项(80%),在标准模式下仅完成47%;其中有136项任务在特权模式下能完成,但在标准模式下失败,主要是因为需要精确对准的步骤难以完成,例如给风扇安装前罩时,在特权模式下可精准对准,而在标准模式下因传感器限制难以对准,导致安装失败。

研究人员进一步分析了性能差距的来源,发现标准模式与特权模式的差异主要在于“精确状态读取”和“不限次重置”两项能力。以某款主流智能体为对象的对照实验显示,在标准模式下,为其补上精确状态读取能力,成功率提升至45%;补上不限次重置能力,成功率提升至53%;两项能力都补上,成功率达到68%,接近特权模式的79%。这表明,重置能力对性能提升的作用更显著,因为有了重置后,智能体可在中途失败后从存档处重新开始,无需从头完成整个任务。

按失败阶段拆分来看,差距的来源更清晰:在抓取、放置等粗略操作阶段的失败,补上精确状态读取能力可解决不少问题;而在组装、对准位姿等精细操作阶段的失败,补上精确状态几乎没有帮助,只有补上重置能力才能明显提升成功率。

研究人员还分析了失败发生的具体阶段,发现两个关键规律:一是失败往往集中在特定阶段,不同智能体、不同模式下的失败常常发生在同一环节,例如标准模式下,不同智能体的失败平均有55%落在同一阶段,远高于随机分布的30%;二是改变物体本身、控制机器人移动的阶段最难,例如擦拭等材料操作阶段的失败率为56%,行走等身体操作阶段为39%,开门等机构操作阶段为17%。

此外,研究还发现,智能体在遇到困难时会主动调整做法。例如在足球任务中,有两个版本的任务场景相同,区别在于是否提供GPU和强化学习库。在提供GPU的版本中,28次尝试里有25次使用强化学习训练策略,赢下的8场比赛全部来自训练出的策略;而在没有GPU的版本中,仅1次尝试训练了策略,其余多为手写步态,仅赢1场。以某款智能体为例,有GPU时训练策略后以10比8获胜,没有GPU时手写步态导致机器人摔倒59次,以3比13落败。

除仿真测试外,研究团队还在真实机械臂上开展了演示,让两款主流智能体通过离散命令控制机械臂完成穿环过线任务。结果显示,智能体的表现随尝试次数增加而提升,某款智能体在第7、8次尝试时完成了全程。

这项研究也存在一定局限,例如每项测试仅运行一次,部分阶段标签由受测智能体标注,真机演示仅为单任务尝试,部分任务成绩可能来自模型记住的公开解法。未来,研究团队计划多次重复核心测试并提供置信区间,增加实时任务的测试,同时通过标准模式接口在真实机器人上开展系统评测。

能读取完整状态、不限次重置时,最强的编程智能体已能解出八成难题;换成真实机器人的条件,就不到一半。在对照实验中,补上重置比补上精确状态更能缩小差距,而真实机器人恰恰很难随时重置。

以上内容不代表本平台立场,仅供读者参考