清华等团队提出VPP2 破解机器人动作模型难题成果亮眼

在机器人操作领域,传统实现方式往往让系统依据当前画面直接生成动作指令。如果能让机器人在执行动作前提前预判操作后物体的变化,是否能做出更可靠的决策?这一思路正成为相关研究的核心方向。
现有世界动作模型(WAM)虽尝试将视频预测能力转化为机器人行动能力,但存在明显局限:视频模型擅长生成逼真画面,却未必能理解真实物理操作的逻辑;而直接将动作训练融入模型,又可能损害原有视频泛化的能力。
针对这一难题,来自清华大学、Robotera等机构的研究团队提出了VPP2(Video Prediction Policy 2)方案,构建了从操作理解到动作生成的完整链路。
该方案采用三阶段训练框架,具体流程如下:
第一阶段聚焦让视频模型真正理解操作逻辑。团队收集并整理了大规模人类与机器人的操作视频,为每段视频添加详细标注,明确操作对象、执行器及动作过程,通过事件级视频预训练,让模型学习完整的操作轨迹。
第二阶段致力于提升预测效率。通过后训练与一致性蒸馏技术,将原有视频模型转化为单步视觉规划器,单次前向传播即可完成未来操作过程的预测。据相关实验数据,8秒的机器人操作视频预测耗时仅约0.1秒。
第三阶段实现预测到动作的转化。团队采用混合Transformer(MoT)架构,引入独立的动作模块,学习从预测结果反推出机器人动作的隐式逆动力学关系,打通视觉预测与实际控制的通道。
实验结果显示该方案表现亮眼:
在视频预测任务中,VPP2-14B在开放式操作任务中的指令遵循成功率达到90%,相比同类模型Cosmos3-64B的78%高出12个百分点;
在真实机器人测试中,该模型在ALOHA平台的10类任务里,零样本平均成功率达到58.5%,高于π₀.₅的40.0%和Fast-WAM的20.5%;
在泛化能力测试中,模型在LIBERO-Pro数据集上的成功率为45.0%,在LIBERO-OOD数据集上达到63.9%,在RoboDojo平台上也实现了32.26%的成功率。
值得注意的是,VPP2并非简单让视频模型生成未来画面,而是搭建了从操作理解、未来预测到动作生成的完整逻辑链路,解决了此前模型存在的能力割裂问题。
这项研究进一步表明,对机器人而言,预测未来的核心价值不只是生成更逼真的视频画面,更重要的是帮助系统判断下一步应采取的正确行动,为机器人自主决策提供了更扎实的支撑。

