ParallelWorld引入多步预演 提升具身智能体任务成功率

机器人在执行操作任务时，常常面临决策困境。比如要把桌上的两把摩卡壶放到炉灶上，看似简单的动作，背后需要考虑的细节却很多：先搬哪一把、从哪里抓取、放下的位置是否会影响后续步骤，任何一个选择都可能改变任务的最终结果。如果仅根据当前画面选择看似合理的动作，执行后才发现问题，后续规划就必须从更难处理的局面重新开始，效率大打折扣。

来自清华大学和新加坡国立大学的研究者提出了名为ParallelWorld的方案，将多步预演机制引入具身智能体的高层规划，让智能体在决策时提前探索多条候选行动路径，比较不同路径的未来观察结果与任务进展，再确定当前的最优选择。这一机制将任务的整体成功率从原来的56%提升至83%。

会拆解任务之后，还需要看远一步

高层规划器可以把复杂指令拆成多个可执行的技能。对于空间理解任务，它安排相机移动或物体交互，寻找回答问题所需的证据；对于操作任务，它组合抓取、移动和放置等动作，推动环境朝目标状态变化。但问题在于，按顺序拆解任务，并不自动意味着系统考虑了不同动作的后续影响。有些动作的价值，要经过几次交互才能体现。当前视角无法辨认一个被遮挡的物体时，一次移动也许只能改变遮挡关系，却为后续观察创造了条件；操作时，一种抓取方式可能有利于拿起物体，却未必有利于接下来的放置。ParallelWorld因此把“未来会看到什么、任务会推进到哪里”纳入行动选择，这里的搜索发生在有明确执行范围和终止条件的高层动作上，底层控制仍由已有技能或策略完成。

让不同的未来进入同一次决策

ParallelWorld的核心思路是利用测试阶段的额外计算资源，开展行动后果的预演。系统会保留更有前景的行动分支，按需向前推演；选定轨迹后，仅执行其中的第一个动作，再根据执行后的新观察重新规划后续步骤，形成“预演-执行”的循环。

具体来说，规划会分为相互关联的两个循环：预演循环和执行循环。在预演循环中，规划器会结合当前任务和环境观察，生成多个候选动作，每个动作都会延伸出不同的行动分支，系统会模拟每个动作执行后的环境变化，形成一棵包含多种未来可能性的搜索树。验证器则会对比这些候选分支，判断哪些更有助于完成任务，筛选掉效果较差的分支，保留有价值的推演方向。规划器会根据筛选结果，决定继续预演还是转入执行阶段。

预演的搜索宽度和深度可以根据具体决策场景动态调整：规划器决定候选动作的数量，验证器决定保留哪些分支，规划器再判断是否继续推演。这种自适应的机制让系统能够将更多计算资源投入到存在不确定性的选择上，避免了固定宽度带来的冗余或不足。

进入执行循环后，系统仅执行选中轨迹的第一个动作，后续步骤仅作为当前决策的参考，不会一次性全部执行。这种“滚动规划”的方式很有实际意义：因为未来预测的准确性会随步数增加而下降，每执行一步就重新观察环境，能够及时修正计划，让多步预演的收益和执行反馈相结合，提升整体决策的可靠性。

从看得更清楚，到操作得更准确

具身理解的收益集中在需要额外交互的任务

为了验证方案的有效性，研究者在多个测试场景中开展了评测。针对具身空间智能任务，研究使用的相关数据集覆盖10类任务、29个子类别，排除无法执行的液体体积子类别后，对28项任务进行了测试。结果显示，ParallelWorld在其中26项任务上的表现超过了顺序式探索方法，尤其在需要通过交互获取更多信息的任务中优势明显——比如顺序探索可能误将目标识别为笔，而ParallelWorld能找到更有信息量的观察视角，准确识别出画笔。不过，方案的提升并非覆盖所有子任务，在刚性容纳和几何构型类任务中，成功率略有下降，这提示即使获取了足够观察，模型仍可能受限于几何推理能力。

机器人操作的八种设置均超过直接基线

在机器人操作任务的评测中，研究采用相关数据集，考察指令重定向和位置交换两类扰动下的泛化能力，共设置800个测试回合。结果显示，ParallelWorld在所有8种设置中的成功率均高于直接执行的基线方法，其中空间位置交换任务的成功率提升27个百分点，指令重定向任务提升15个百分点。这类提升主要来自于对目标身份、相对位置和放置几何关系的准确判断，而在关节状态、接触过程和长任务的误差积累等场景中，仅靠视觉预演难以充分刻画，收益相对有限。

多想一些有用，但搜索方式同样关键

为了探索搜索宽度对效果的影响，研究者在3个空间位置交换任务上开展了消融实验，结果显示自适应宽度的策略取得了最高成功率，且耗时低于固定宽度的策略。固定宽度为2时，成功率反而低于直接执行，说明预演的效果并非随路径数量增加而线性提升。自适应策略的优势在于能根据任务状态调整候选分支数量，避免分支过少遗漏有用选择，或分支过多增加冗余计算。不过，自适应搜索也存在成本：平均总耗时约为直接执行的5.8倍，且目前仅覆盖了3个任务，还需要更多研究来建立计算量与性能增长的普遍规律，降低预演成本是未来实际应用需要解决的关键问题。

预演的边界，是能否预测真正重要的后果

ParallelWorld的效果依赖于预演结果能否可靠反映任务成败的关键因素。当任务的困难来自视角选择、目标辨认或空间布局时，比较不同未来路径能有效改善决策；但当任务需要精确度量、接触动力学或对执行误差的细致预测时，视觉预演的效果就会受到限制。比如在部分案例中，模型即使获得了足够信息，仍无法判断物体间的精确几何关系；有时生成的未来画面看似合理，实际执行却会失败，这说明图像预测的视觉合理性不能直接等同于物理可行性。

这项研究展示了测试时计算在具身系统中的一种应用方式：在动作执行前，比较其可能带来的后续观察与任务进展，再通过执行反馈不断修正计划。要让这种预演机制在更多真实场景中发挥作用，还需要更可靠的物理预测模型、更准确的验证机制，以及可负担的推理开销。ParallelWorld的研究结果为解决这些问题提供了一个可检验的起点。