DW0.5构建具身智能后训练闭环,降本40%提成功率

为什么代码类智能Agent能在近两年实现爆发式增长?核心原因在于它天生自带完美的自反馈闭环:写好代码后可以直接通过编译器验证正确性,奖励信号清晰明确,为后训练阶段的自主迭代提供了绝佳的基础条件。而同为AI赛道的热门方向,具身智能却始终缺少这样的「神助攻」。
物理世界的复杂度远高于代码运行的虚拟环境,具身智能无法通过简单工具快速验证效果,反馈信号模糊且成本高昂,每次真机试错都伴随着人力和硬件的真实损耗。早期受到关注的视觉-语言-动作模型(VLA)路线,很快暴露出物理理解缺失、泛化能力薄弱、长时序规划能力不足等问题,无法覆盖所有实际场景。随后世界模型成为行业新的热点,但目前来看也并非万能的解药。
我觉得特别愚蠢的一件事情是在「技术路线」上给自己贴标签。这件事情是特别蠢的。
应该以目标导向。你要解决什么问题,挑选对应的方法去解决它,而不是说我是什么方法的、什么流派的,为此来证明只有我才是标新立异的。
原力灵机的相关负责人表示,团队在今年年初意识到可以将世界模型融入具身智能的后训练环节,经过半年的研发,在近期推出了旗下首款具身世界模型DW0.5,并将其接入世界模型驱动的具身智能后训练框架DFOL2.0。
据原力灵机联合创始人汪天才介绍,这款基模支持任务指令、图片、视频等多模态输入,还可以适配不同类型的机器人,能够基于历史动作预测后续的视觉状态。DW0.5基于上万小时的真机多视角数据完成联合预训练,拥有极强的仿真能力,不仅可以生成机械臂正常作业的视频,还能还原任务失败的场景,为DFOL2.0的在线强化学习训练提供核心支撑。
具身智能属于物理AI,其核心目标是让机器人在不同环境、物体和失败场景下持续进化,但此前的后训练飞轮始终无法高效运转。真机一次测试需要占用机器人、场地和人工,一次动作失败还可能直接中断任务;人工反馈虽然更贴近真实判断,但无法高频覆盖每个中间状态;传统仿真环境成本较低,却难以完整复刻现实中的接触、遮挡、反光、形变等不确定性因素。
基于这些现状,原力灵机提出,VLA模型需要一个介于真机、人工反馈和传统仿真之间的训练环境:既要足够便宜、支持高频探索,又要尽可能贴近真实的操作过程。团队最终敲定的解决方案思路是:通过真实的测试数据校准世界模型,让世界模型支撑低成本的大规模环境和数据生产,再将优化后的策略放回真实环境中验证并收集新的数据。而DW0.5就承担了原力灵机VLA模型(DM0.5)后训练中的Learned Environment角色。
DW0.5能够预测动作执行后的未来状态,生成失败轨迹,并对任务进度进行打分。它由Video Expert、Action Expert、Value Expert三大专家模块组成能力链路:Video Expert和Action Expert共同负责动作后果的预演,Value Expert则负责价值评估和反馈构造。
在多数世界模型中,动作信息只是附带的条件输入,但DW0.5将动作作为结构性强先验:必须明确机械臂的移动方向才能预测合理的后续画面。模型将动作作为视频生成的一等条件,通过结构化的帧级对齐进行强制绑定,在MoT注意力机制中,将动作序列与视频序列拼接,并使用group-diagonal attention mask切断非对应视频帧和动作之间的信息通路,让向左推和向右推的动作从一开始就走向完全不同的计算路径。
主流的VLA模型通常只做从观测到动作的映射,而像DW0.5这类以视频预测作为辅助监督的模型,理论上能够学到更强的因果动态理解。仅用成功轨迹训练的模型容易产生过强的成功偏置,无法识别错误动作,更无法为强化学习提供惩罚信号,而失败轨迹的数据对后训练至关重要。因此DW0.5被设计为能够生成任务失败的视觉轨迹,让Value Expert可以对比成功与失败的差异,给出有区分度的打分。团队的数据策略围绕模拟失败展开,让模型既能学习正确的操作流程,也能理解错误操作对应的物理变化。
DW0.5的训练数据包含四类:具身公开数据与自采机器人数据(包含遮挡、接触、延迟等真机噪声)、互联网视频数据(补充开放世界动态)、第一视角人类活动数据(迁移真实物理交互后果)、真机与仿真测试数据(覆盖偏离、卡住、恢复等中间状态)。这也是DW0.5从“视频世界模型”走向“训练环境”的关键一步。
Video Expert模拟动作后果,Value Expert将后果转化为可优化的信号,两者结合构成完整的强化学习训练闭环。Value Expert可以对当前状态、候选轨迹或整段测试过程给出成功概率或任务价值评估,将稀疏的任务结果信号转化为每一步都可用的中间反馈。
在闭环系统中,Value Expert可以用于三大场景:一是候选动作筛选,为多个测试结果打分,让VLA选择更可能成功的未来路径;二是作为强化学习后训练的奖励信号,在世界模型环境中对VLA进行策略优化,无需频繁占用真机资源;三是部署时的在线监测,当发现当前状态偏离成功路径时,及时触发重新规划或失败恢复。根据披露的数据,DW0.5的Value-Order Correlation达到95%以上。
三大模块共同服务于同一个闭环,让DW0.5在VLA的训练和部署中承担三种核心角色:离线数据增强与偏好构造、强化学习后训练环境、部署时的规划与安全评估。
依托DW0.5训练-调优-部署的全闭环赋能能力,模型在工程化泛化表现方面同样出色:
- 高阶指令与多步动作跟随:能够精准理解“拿起铁锤、举至空中并保持稳定”等高难度多步长指令,还可以流畅实现跨构型的动作跟随。
- 多维连续泛化:在复杂长尾场景中,展现出强大的跨环境、跨任务、跨构型的泛化生成能力。
- 多视角强一致性:在模拟生成机器人前视、左腕、右腕等多相机流时,拥有完美的空间和时序一致性。
- 动作-视频生成高度一致性:能够直观理解人类的双手操作视频,并将其流畅且等效地转化为机械臂的操作轨迹。
了解了架构和原理后,我们可以清晰看到DW0.5的具体应用流程:整体来看,基础策略模型DM0.5先生成一批初始动作,传递给世界模型DW0.5;DW0.5作为仿真器,在虚拟环境中运行这些动作,批量生成成功和失败的轨迹;随后由强化学习教练员CFG-RL为每条轨迹的任务进度打分,成功轨迹的价值逐步走高,失败轨迹的价值则断崖式下跌;打分和奖励实时回传,更新模型权重,得到更强的DM0.5模型。这个循环中的大部分数据由DW0.5在线生成,无需全部依赖高成本的真机反复测试。
这套流程可以让后训练中真机数据的需求骤降60%,整体训练成本下降40%。
实际测试效果同样亮眼:在打气球、晾衣服、叠纸盒等高难度复杂任务中,接入DFOL2.0的模型相比单纯监督微调(SFT)的基线模型,关键步骤的成功率有了显著提升。
- 打气球任务:“给气球打气”这一步的成功率从10%升至90%;“气筒插入气球”的成功率从10%跃升至100%。
- 晾衣服任务:“成功挂上衣架”这一长时序操作的SFT成功率仅50%,DFOL2.0加持下翻倍至100%;“衣架塞入衣服”的成功率也从60%提升到了90%。
- 叠纸盒任务:“叠右侧纸盒”和“叠左侧纸盒”两大难点步骤,成功率分别从35%拉升到了55%和50%。
在基准测试方面,DW0.5在EWMBench、WorldArena等榜单中斩获全球SOTA成绩,分别以4.73、73.54的分数登顶(数据截至7月9日)。
真实部署进展方面,DW0.5已经在内部跑通具身后训练闭环流程DFOL 2.0,开始承担数据生成、价值评估和策略迭代工作。同时,这套技术能力已接入原力灵机推出的DexDev MaaS(Model As a Service)平台,对于特定具身场景中零样本泛化能力不足的模型,可通过后训练补足能力后接回平台服务。
原力灵机联合创始人汪天才强调,真机数据的价值无可替代,团队只是用世界模型降低了训练成本,目前世界模型仍然需要真机数据进行校准。
当被问及世界模型在具身智能领域的其他应用想法时,团队表示,随着视觉模型能力的不断提升,现场人员可以借助第一视角相机采集操作数据,减少对专业真机采集和复杂后训练团队的依赖,降低现场后训练的门槛。
GitHub
https://github.com/dexmal/opendw
Hugging Face
https://huggingface.co/Dexmal/DW05-Base


