Real2Sim新突破！SimFoundry让真实视频生成无限机器人训练数据

机器人研发正迎来新的技术拐点：曾经热门的Sim2Real讨论热度渐退，Real2Sim正成为具身智能领域的核心赛道焦点。

据行业观察，近期由英伟达GEAR实验室联合顶尖科研团队推出了一款名为SimFoundry的全新Real2Sim系统，为机器人仿真训练带来了革命性的解决方案。

不同于传统的3D场景重建工具，SimFoundry仅需一段普通的真实世界RGB视频，就能自动生成一套完整的、支持物理交互的机器人仿真环境。更关键的是，该系统可以在保留物体功能和交互属性的前提下，自动替换场景内的物体、调整整体布局，甚至生成全新的机器人操作任务。这意味着，一段原始的真实视频不再只能对应单一的仿真场景，而是可以自动扩展出几乎无限的训练数据生成空间。

借助SimFoundry，研究人员不仅可以在仿真环境中高效训练机器人策略，还能较为精准地预测这些策略在真实机器人上的实际表现。更令人惊喜的是，基于该系统生成的数据训练出的机器人模型，能够直接零样本部署到真实机器人平台，在多步操作、双臂协作、带关节物体操作等复杂任务中实现无缝的真实世界迁移。

长期以来，机器人策略的训练高度依赖真实世界的实测数据，但真机数据采集不仅成本高昂、耗时漫长，还难以实现规模化扩展。即便完成模型训练，真机测试环节同样面临场景有限、测试成本高企的问题。因此，仿真环境逐渐成为机器人训练和评估的主流替代方案，通过自动化数据生成技术，可以以极低的人力成本合成大量多样的高质量训练数据，有效提升机器人在真实场景中的泛化能力。大量研究也证实，当仿真环境足够逼真时，其评测结果与真实机器人的实际表现具备极强的一致性。

不过，现有的仿真方案仍存在明显短板：虽然仿真可以提供近乎无限的数据，但搭建一个具备真实几何属性、物理特性和交互能力的仿真环境，依然需要耗费大量的人工建模工作。正是在这一背景下，Real2Sim方向近两年迅速崛起，其核心目标是利用3D重建和生成模型，快速将真实世界转换为支持物理交互的仿真就绪环境，大幅降低人工搭建场景的成本。但目前主流的Real2Sim方案往往只能覆盖单一环节：部分工具擅长3D场景重建，但无法生成可供训练的有效数据；另一部分工具可以完成策略评测，却需要大量人工配置，难以扩展到丰富的场景和任务类型中。

SimFoundry的核心突破，在于打通了场景生成、数据生成、策略评测和策略训练的完整Real-to-Sim闭环。该系统主要完成三项核心工作：一是自动重建可交互、可仿真的数字孪生场景；二是在物体、场景和任务三个层面自动扩展数字表亲，持续生成多样化的训练数据；三是利用生成的仿真环境同时完成策略评测与训练，形成从真实世界到仿真、再回归真实世界的完整闭环。

这里需要明确两个关键概念：数字孪生是对真实场景的精确复刻，能够完整还原真实世界的物理属性和交互逻辑；而数字表亲则是在保持场景功能和交互语义不变的前提下，对物体、布局或任务进行合理变化的衍生场景。

为了实现上述目标，SimFoundry设计了一套清晰的三阶段流水线，整体可以概括为“先理解真实世界，再搭建数字世界，最后批量创造新的数字世界”，三个阶段分别为提取（Extraction）、生成（Generation）和增强（Augmentation）。

第一阶段：提取——理解真实场景

当系统输入一段普通RGB视频后，首先会通过深度估计技术恢复场景的三维点云数据，随后结合视觉语言模型（VLM）和SAM 3等分割模型，对场景内的所有物体进行逐一刻画和分割。每识别出一个物体，系统就会利用图像修复技术将其从画面中移除，继续完成后续物体的识别，直到完成整个场景的完整解析。

第二阶段：生成——搭建数字孪生

针对提取出的每一个物体，SimFoundry会通过2D-to-3D生成模型转换为三维网格模型，并结合FoundationPose等工具恢复物体在真实场景中的位姿。对于抽屉、柜门等带关节的物体，系统还会自动推导其关节结构和运动逻辑。在此基础上，系统会进一步补充物体的质量、摩擦力等物理属性，生成精准的碰撞模型并修复穿模等问题，最终导出可直接在IsaacLab等主流物理引擎中运行的仿真场景，完成数字孪生的构建。

第三阶段：增强——创造数字表亲

这是SimFoundry最核心的创新亮点。在完成数字孪生场景的搭建后，系统会自动从三个维度扩展生成数字表亲：一是改变物体的外观和几何形态，但完全保留其核心功能；二是调整现有物体的布局位置，或加入新的物体，生成全新的仿真场景；三是基于场景内的物体及其交互属性，自动推导生成全新的机器人操作任务。通过这三种扩展方式，一段原始的真实视频不仅可以生成一个精准的数字孪生场景，还能自动衍生出大量保持相同行为语义的新物体、新场景和新任务，为机器人训练提供几乎无限的高质量数据来源。

为了验证SimFoundry的实际效果，研究团队在两套不同的机器人平台、7类典型操作任务上开展了全面的实验，分别验证了Real-to-Sim策略评估和Sim-to-Real策略训练两项核心能力。

在策略评估环节，实验结果显示SimFoundry生成的仿真环境中机器人的表现与真实世界的实际表现高度一致，平均皮尔逊相关系数达到0.911，平均最大排名违例（MMRV）仅为0.018，相比此前最先进的评测框架PolaRiS有显著提升。这意味着研究人员可以在仿真环境中精准预测机器人策略的真实表现，无需反复开展昂贵的实机测试，大幅降低了研发成本和周期。

而数字表亲的设计则带来了更为明显的性能提升：相比仅使用数字孪生场景进行训练的模型，引入Object、Scene和Task Cousins后，机器人在真实世界中的平均任务成功率分别提升了17%、21%和40%。同时，仅依靠SimFoundry自动生成的数据训练出的机器人策略，能够直接零样本部署到真实机器人平台，在多个操作任务中取得了接近满分的成功率。

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/

AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。