文章摘要
具身智能领域正从静态数据训练转向经验驱动发展，但面临诸多难题。全球首个面向具身智能持续进化的大规模强化学习基础设施项目RLinf推出v0.3版本，升级为一站式开发平台，打通全流程关键环节。该版本在多维度全面升级，新增多种模型、算法、操作方式等支持，支持国产及异构AI计算平台。RLinf开源后受广泛关注，未来将持续提升易用性，推动具身智能发展。

当前具身智能领域正处于关键转型期，行业正从依赖静态数据的训练模式，转向需要机器人在真实环境中持续学习、在线进化的经验驱动发展路径。然而，强化学习流程复杂、系统组件异构、资源形态多样，以及真实世界在线学习难以规模化等核心难题，始终制约着具身智能技术从实验室走向实际应用场景。

针对这些行业痛点，由研发团队联合高校等机构共同打造的全球首个面向具身智能持续进化的大规模强化学习基础设施项目RLinf，正式推出了最新版本v0.3，为破解具身智能发展瓶颈提供了新一代通用开发底座。

在此之前，RLinf的v0.1版本完成了强化学习系统的抽象框架搭建，v0.2版本则初步构建了真实世界在线学习的基础设施。而全新的v0.3版本进一步升级为面向具身智能持续进化的一站式开发平台，首次完整打通了数据采集、数据管理、监督微调（SFT）、强化学习（RL）、模型评测以及真机部署等全流程关键环节，实现了从仿真训练到真实机器人在线学习，再到持续迭代优化的统一开发闭环。这一升级让RLinf不仅能够高效训练机器人策略，更能支撑机器人在真实环境中实现长期的自主进化。

RLinf v0.3围绕模型、算法、真机、仿真、系统五大核心维度进行了全面升级，系统性降低了具身智能的开发门槛，提升了训练效率与部署灵活性，同时进一步丰富了具身智能开源生态。研发团队在此次版本正式发布前，已针对大量应用示例完成了深度的复现性测试，确保训练效果的严格可复现，解决了强化学习中“参数难调、结果难复现”的行业痛点。本次发版已与多家云厂商协同上线，包括国内头部智能云服务平台。

RLinf v0.3 Release Notes：https://rlinf–1379.org.readthedocs.build/zh-cn/1379/rst_source/resources/release_v0.3.html

快速上手：

https://docs.neogpu.com/posts/rlinf-ppo-vla.html

https://cloud.baidu.com/doc/AIHC/s/fmrenj9u1

Github链接：
https://github.com/RLinf/RLinf

RLinf Tech Report：https://arxiv.org/abs/2509.15965

RLinf v0.3持续扩展模型生态，新增了6款具身智能相关模型支持，覆盖世界模型、VLA模型以及系统级加速方案：

  • 新增Dexbotic DM0模型支持，可在LIBERO环境中通过PPO算法实现在线RL微调
  • 新增DreamZero模型支持：基于WAN2.1/2.2视频生成世界模型微调的VLA策略，已集成至SFT工作流，通过FSDP2、CUDA Graph等系统级加速技术实现了近4倍的吞吐提升
  • 新增GR00T-N1.6 / N1.7模型的RL微调支持
  • 新增ABot-M0模型支持
  • 新增StarVLA模型支持（基于GRPO算法在LIBERO环境中训练）
  • 新增LingBot-VLA模型支持（适配RoboTwin环境的SFT/RL训练）

在算法层面，新版本在真机强化学习、仿真强化学习以及人在环学习三个方向均实现了重要突破，真机任务成功率达到行业领先水平：

真机强化学习算法：

  • 将DSRL（Diffusion Steering via Reinforcement Learning）算法扩展至Pi0.5模型
  • 新增RECAP（基于离线优势估计的策略优化）训练流水线支持
  • 新增SAC-Flow算法支持，并将其扩展至DOS-W1等真机场景

仿真强化学习算法：

  • Async PPO：在v0.2版本基础上扩展支持MLP等新策略，并新增async DSRL配置
  • 新增D4RL 离线 IQL训练支持，覆盖Antmaze、Kitchen-Adroit、MuJoCo等环境，基于FSDPStrategy实现训练

人在环学习：

  • 新增DAgger在线模仿学习算法支持，适配LIBERO、ManiSkill、RoboTwin以及真机PnP等多场景
  • 新增HG-DAgger（Human-Gated DAgger）真机在线训练支持

新版全面打通数据采集 → SFT → RL → 真机部署的闭环链路，新增3种遥操作方式、3款真机平台、2款末端执行器，真机实操能力显著增强：

数据采集支持：

  • 新增空间鼠标（Spacemouse）遥操作数据采集支持
  • 新增VR 遥操作数据采集支持
  • 新增GELLO 遥操作数据采集支持

训练链路支持：

  • 新增LeRobot 格式数据采集支持，便于与HuggingFace LeRobot生态实现互通
  • 新增Pi0 真机 SFT 部署支持，完整打通数据采集→SFT→真机部署的全链路
  • 新增真机 reward model 数据采集支持，可采集带标注的reward训练数据

真机平台与末端支持：

  • 新增双臂 Franka平台支持，覆盖关节空间与TCP/rot6d控制、数据采集、SFT以及部署全流程
  • 新增GimArm真机平台支持
  • 新增DOS-W1真机平台支持
  • 新增Franka DexHand 灵巧手末端执行器支持
  • 新增Franka Robotiq夹爪后端支持
  • 新增Franka Robotiq 及 ZED / LUMOS V4L2相机与夹爪后端支持

RLinf v0.3进一步拓展了仿真强化学习的场景覆盖，新增了5种仿真器，并完善了基于各类仿真器的训练示例与效果：

  • 新增Genesis仿真器支持
  • 新增Polaris仿真器支持
  • 新增RoboVerse仿真器支持
  • 完善Behavior环境支持：新增v3.7.1 / v3.7.2版本补丁、π0.5 PPO配置以及object/pose randomization功能
  • 新增Libero+ / LiberoPro变体环境支持
  • 新增Embodichain（CartPole）环境支持
  • 新增IsaacLab 上 π0.5 PPO finetuning支持
  • 新增RoboCasaclose-drawer等RL示例支持

在系统架构层面，RLinf v0.3新增了多项核心组件：

  • Reward Model组件：支持embodied reward worker + ResNet/VLM reward model
  • Value Model组件：作为通用基础设施，支撑Pi0.6 RECAP等训练流水线
  • SGLang推理服务化组件：采用HTTP server + router模式，可作为reward服务或rollout推理后端
  • 解耦环境执行组件：解除Env Worker与Rollout Worker的一对一绑定，有效提升GPU利用率

性能优化方面，新版本新增了torch.compile加速、rollout与训练重叠执行、权重同步升级（包括broadcast、增量同步、分桶同步以及仅同步可训练参数等方式）、FSDP全offload支持，并修复了显存泄漏等关键问题。

值得关注的是，RLinf v0.3全面支持昇腾Ascend（CANN/torch-npu）、AMD ROCm、Musa等国产及异构AI计算平台，真正实现了跨机器人、跨模型、跨仿真器、跨计算硬件的统一训练能力。

06 One More Thing：RLinf for Agentic AI

此次更新还新增了面向智能体RL场景的更强训练与评测基础，具体包括：

  • 新增AgentLightning 多轮单智能体 RL 训练与Calc-X评测支持
  • 新增Megatron-Bridge actor 后端支持，可基于Megatron-mbridge模型实现RL训练与SFT
  • 将SearchR1重构为多轮接口，并新增WideSeek judge的内置sglang支持

RLinf自开源以来，始终坚持开放共享的核心理念，迅速在全球范围内获得了广泛关注。截至目前，该项目在GitHub平台已获得4100+ Stars 、 600+ Forks、100+ Contributors，成为具身智能与大模型强化学习领域最受关注的基础设施项目之一。

RLinf已被Isaac Lab官方收录为其首个面向具身大模型的训练引擎，充分体现了其在具身智能基础设施方向的国际技术引领能力。此外，研发团队与NVIDIA团队合作的医疗器械组装任务成功登上NVIDIA GTC 2026，进一步验证了项目的全球技术影响力。

此外，项目荣获EAI-100年度十大突破奖，入选Pytorch Ecosystem、蚂蚁开源榜，代表了行业对其在具身智能基础设施领域技术领先性与认可度的肯定。

未来，RLinf将继续坚持开源路线，持续提升产品易用性，并携手社区同行共同贡献前沿算法。为了更好地与社区互动，团队已创建开发Roadmap（
https://github.com/RLinf/RLinf/issues/1322），建立答疑群（https://raw.githubusercontent.com/RLinf/misc/refs/heads/main/pic/wechat.jpg），欢迎全球研究者加入社区，共同推动具身智能技术的发展。

以上内容不代表本平台立场，仅供读者参考