Ropedia Super Week：六项研究助力机器人从第一视角视频学习

第一视角视频记录了丰富的人类操作场景，但如何从中提取相机轨迹、动作关联与空间信息，并转化为可用于机器人训练的有效数据，仍是具身智能领域待突破的问题。研究人员需要验证这些信息是否能帮助模型更准确预测、机器人更灵活操作，以及如何将零散的经验转化为标准化的训练资源。

近期，Ropedia 举办的首届技术周集中发布了六项相关研究成果，为解决上述问题提供了多维度的思路。

其中，首个跨本体世界模型项目验证了人类经验在机器人预测任务中的核心价值。研究团队构建了整合约1万小时人类第一视角视频与3000小时机器人视频的数据集，统一了相机轨迹、运动骨架与任务描述等多模态标注。针对开源机器人数据集存在的手眼标定误差问题，团队通过人工标注与修正机器人关键点，大幅改善了运动信息与视觉画面的对齐精度。该模型在覆盖八种本体的跨本体评测中，无需针对目标数据额外训练，就取得了21.98 dB的PSNR，高于同类模型的19.02 dB，展现出优异的跨本体预测能力。同时，人类经验还显著降低了机器人后训练的数据需求：在相关评测中，使用该模型预训练权重的机器人，仅需1%的后训练数据，预测质量就超过了使用全量数据初始化的通用视频生成模型。进一步实验显示，随着人类预训练视频时长增加到1万小时，模型在人类与机器人评测中的表现持续提升。此外，该模型还可用于机器人策略评估与基于模型的规划，在真机实验中，策略评估结果与实际表现的相关系数达到0.996，任务完成度从随机选择的26%提升至55%；经过蒸馏加速后，系统在单张GPU上可达到21.3 FPS的视频生成速度，支持用户通过VR头显进行超过一分钟的实时交互。该模型还被用于机器人动作学习，在相关基准上，初始化版本的成功率从50.06%提升至56.82%，且在七类环境扰动下均有改善。

另一项研究专注于物体交互历史的结构化整理，将录像中的物体移动过程转化为可查询的训练问答。该系统通过同步双目画面与IMU数据恢复场景几何，区分静态与动态物体：静态分支融合图像与点云检测结果并经视觉语言模型核查，动态分支结合交互描述与关键帧关联物体身份，将结果映射到统一世界坐标。经过处理，系统可将同一物体在不同片段中的状态关联起来，保存的三维框、运动轨迹与交互语义均关联观测依据。团队已整理约100个场景的444段录像，生成约7.8万组空间、时间与交互问答，每道题的答案都可追溯到具体观测。通过微调语言模型，该系统在外部空间推理评测中的表现显著提升，Token F1从18.29%提高至66.39%。

针对多要素联合重建的难题，相关项目提出了全栈式方案，可同时恢复相机、场景、双手与物体的统一空间表征。该方案覆盖真实采集、自动标注、统一建模与评测全流程，将采集的经验整理为八类同步模态，构建了包含50小时数据、540万帧、270项任务的数据集。模型仅需单目视频与首帧物体掩码，就能通过单次前向联合预测各要素的运动，并将其放入共享的度量世界坐标系；训练时，手和物体的误差还会反向约束相机估计，使各任务在几何上相互关联。实验结果显示，该方法在多项评测中表现优异：相机误差降低68.9%，手部坐标误差降低65.6%，物体位姿评分提升28.0%，证明多监督信号整合能为具身智能提供更完整的学习信息。

在模型工具调用与空间推理方面，研究人员为现有编程智能体配备了命令行感知工具包，无需新增模型训练即可提升空间判断能力。以空间方位问题为例，智能体需要先重建场景，登记观察者状态，再调用工具查询方位，并核对感知结果修正错误登记，使其理解的对象与工具测量的对象对应。工具包会保存几何信息，为每道题维护可查询的场景记忆，返回结果会注明对象、单位与参考系，并附上空间解释。实验显示，在多款通用智能体框架中，接入工具后的ReVSI得分均有明显提升，证明该工具包能帮助模型更精准地依据空间证据作答。

针对机器人双手协作的问题，团队提出了共享策略，让机器人灵巧手通过仿真跟踪人类双手演示，协同操控物体。研究人员先重建人类双手与物体的三维运动，再将手部动作重定向为机器人参考，结合PPO与BC开展训练，设计了针对演示片段难度差异的奖励机制，缓解难易程度对共享训练的干扰。在仿真评测中，该策略在未见轨迹上取得86.79%的跟踪成功率，在未见物体上达到57.32%；加入自建双手交互数据后，成功率进一步提升至88.68%与59.76%，效果显著改善。

最后，相关项目探索了纯代码作为机器人策略的新范式，将感知、决策与检查直接写成可执行代码，无需依赖大模型的在线推理。这种策略具备泛化性、可解释性与复用性：泛化性体现在按物理属性编写，不认物体名称；可解释性体现在每个决策都是可读代码，便于定位问题；复用性体现在技能可沉淀在共享库中，新任务可先复用再扩展。在双臂仿真任务中，该策略的成功率达70.24%；同时，技能库可跨本体复用，在不同类型机器人上均取得良好效果，验证了代码作为具身策略的潜力。

这些研究成果从数据整理、模型重建、工具辅助到策略范式，为将人类经验转化为机器人能力提供了多层面的解决方案。高质量的第一视角数据与结构化处理方法，将持续推动具身智能领域的发展，而人类经验的价值，最终会体现在机器人在具体任务中的实际表现上。