文章摘要
当前大模型后训练核心供给已从算法、算力扩展至训练环境,物理AI领域对强化学习仿真环境有更高要求。光轮智能近期发布面向机器人的可交互强化学习仿真环境RoboFinals RL Envs,依托全栈自研仿真底座,解决灵巧操作、长程任务、柔体交互等难点,打通训练评测全链路,适配多领域物理AI训练需求。

强化学习环境(RL Envs)正在成为一门新兴的业务方向。

随着大模型向工具调用、软件操作及多步骤任务拓展,模型训练模式也在发生转变——不再仅从已有数据和答案中学习,而是要进入具体任务,执行动作、观察结果并根据反馈调整策略。

对模型研发团队来说,算法决定模型的学习路径,而环境则决定模型能练习的任务类型、尝试次数及成功判定标准。能否获取足够真实、可判定结果的任务,已成为后训练阶段的核心工作之一。

从行业观察来看,围绕大模型训练与后训练的相关业务热度正快速上升,过去一年已有多家新公司进入相关领域。比如,某运营超500万人专家网络的企业,近期完成大额融资,为前沿机构提供评测与后训练数据,还曾收购团队将数百个企业应用重建为训练环境;另有企业针对文档、电子表格、网页调研等长程办公任务构建RL环境,通过后训练提升模型在相关任务上的表现;还有企业聚焦专家数据、RL环境及评分工具,覆盖金融、生命科学等多个方向,上线后一年内就实现了可观的年化收入。

这些企业的业务形态各有侧重,但共同指向一个变化:模型后训练的核心供给已从算法和算力,扩展到训练数据和环境——包括任务类型、练习场景及结果判定规则。

当大模型的能力向机器人领域延伸,传统的数字训练环境已无法满足需求。OpenAI发布的相关模型在机器人仿真任务中表现突出,引发行业关注,这也让“基础大模型直接进入物理世界”从愿景变为现实。但从数字环境到物理交互,强化学习训练面临更大挑战——数字环境中,软件智能体的动作结果明确;而机器人动作会影响物体的位置、姿态等状态,需要在交互中不断调整,因此物理AI所需的RL环境不能是数字环境的简单复刻,需承载具体工作任务,让机器人在不同初始状态下反复行动,并获得可信的反馈。

在相关技术会议上,光轮智能发布了面向机器人模型的可交互强化学习仿真环境RoboFinals RL Envs。不同于传统围绕单一动作设计的场景,该环境以真实工作任务为导向,首发展示了时长超8分钟的长程仿真任务——汽车修理工作。这个任务整合了灵巧手操作、工具使用、多阶段流程及柔性物体交互,涉及软管、线缆、密封垫等不同类型的物体,其复杂度不仅在于单个动作的精细程度,更在于多种物理交互在任务链条中的耦合关联。

第一,灵巧操作:自由度和接触点成倍增加。

多数机器人操作任务使用平行夹爪,仅能实现开合动作;而灵巧手通常有十几到二十多个自由度,每根手指可独立运动。这对策略的动作空间维度和仿真的接触求解精度都提出了极高要求,若接触计算不准确,物体易滑脱或穿透,导致策略学到的抓握方式无法在真实世界应用。

第二,长程任务:误差随着时间累积。

此前机器人强化学习环境多设计为抓取、放置等相对独立的动作任务,而实际工作通常是多段动作组合的长程任务,早期动作的影响会随时间累积,每一步的小偏差都会不断叠加。传统做法是将长任务拆分为独立阶段,虽降低了难度,但丢失了真实工作中“承接前一步状态变化”的关键条件。RoboFinals RL Envs的任务中,前后阶段相互关联,前一步的状态变化会延续到后续步骤,策略需在不完美的中间状态上继续完成任务。

第三,可变形物体交互:状态难描述,参数难确定。

软管、线缆、密封垫等可变形柔体的仿真需要离散成大量节点计算,计算量和数值稳定性压力远高于刚体,且其行为依赖刚度、阻尼、摩擦等参数,参数稍有偏差就会出现过软、过硬或异常抖动等问题,影响后续任务。将不同类型物体放入同一任务环境,让机器人在连续操作中与不同对象交互,是仿真环境的核心难点。

光轮此次展示的重点,不只是一个汽车维修仿真场景,而是将精细操作、复杂物体交互和长程任务组织在一起的机器人强化学习环境。要实现这一点,需从底层搭建全栈自研的仿真底座SimFoundry,覆盖“求解-测量-生成”三个环节:求解器负责准确计算刚体、关节体和柔性体的交互;测量环节让物体的物理参数来自真实数据;生成环节由AI Agent驱动,基于真实任务完成资产重建、物理建模和任务定义,让真实场景和任务能成批进入仿真。

光轮智能将这套标准称为RL Ready,确保任务语义有明确的完成判定、物理交互反馈可靠、反馈信号可直接用于训练,模型接入后即可开始试错与迭代。

物理AI的RL环境对搭建方要求极高,需同时具备高质量资产、高精度物理求解器和专家经验,三者缺一不可。行业中这类单点能力难以被单一团队汇聚,而光轮智能的不同之处在于,这三样核心能力都掌握在自身手中,还参与了相关仿真标准的制定,是开源仿真资源库的核心贡献方。

为让能力形成可训练的环境,光轮智能采用Agentic校准工作流:Agent提出方向、比较结果、组织修正,仿真专家在关键节点判断优化,确保环境的物理真实性和可训练性。

环境的构建能力能否规模化扩张,决定了环境库的发展边界。光轮智能的规划是让RL Envs覆盖更多任务类型、难度和场景,环境库分布跟随真实任务,覆盖家居、工业、零售、医疗等领域,操作类型从简单抓取到精密闭环操作,资产类型包括刚体、柔体、流体等。

为保证训练效果可评测,RoboFinals RL Envs与RoboFinals Benchmark共享任务语义、场景资产和能力定义,训练与评测严格分离,让学习效果能独立检验,解决了行业中“能训练的难评测、能评测的缺环境”的痛点。

光轮智能还将环境构建、校准、评测、交付整合为可复用的产品,模型团队接上策略即可开训,降低了环境使用门槛,率先打通了从环境开发到落地的全链路。

大模型的发展已表明,模型能力的提升不仅取决于算法,还与训练任务、交互条件和反馈机制密切相关。对于机器人而言,这一问题更加复杂,当模型需要执行多阶段工作时,环境需处理精细化操作、物理交互和长程反馈,构建适配的RL环境已成为物理AI基础设施的重要部分。

以上内容不代表本平台立场,仅供读者参考