文章摘要
AutoRLBench是用于考察AI定位、修复强化学习(RL)训练失败根因能力的基准工具,目前包含34个诊断任务、17个修复任务,覆盖六大类真实RL训练场景,重点收录无显式报错的隐蔽故障。对10个前沿模型的测试显示其最高通过率仅37.3%,根因定位准确率远低于异常识别率,目前该工具仍在征集真实故障案例持续开发。

当强化学习(RL)训练失败时,智能体能否找到问题的根本原因并可靠修复?这是AutoRLBench基准工具聚焦的核心问题——它整理了真实的RL训练事故场景,用于测试智能体在发现异常、定位根因、实施有效修复等环节的能力。

该基准工具目前包含34个诊断任务和17个修复任务,覆盖配置不匹配、奖励信号异常、数据加载问题、环境反馈错误、算法逻辑缺陷、基础设施故障六大类场景。每个任务都还原了真实训练事故的全貌,包含源代码、配置文件、运行日志、评估记录等内容,并附带隐藏的参考答案,用于评估智能体的处理能力。

任务分为两个层级:诊断环节要求智能体判断训练是否正常、定位具体根因并提供相关证据;修复环节则需要智能体修改工作空间,在干净环境中重新运行训练,并根据最终指标判定修复是否有效。

AutoRLBench重点收录隐蔽性故障,这类故障不会直接报错,例如奖励数值看似上升但模型学到了错误目标、训练曲线正常但日志暴露数据异常、修复措施初期有效但训练后期再次崩溃等。这类任务要求智能体联合分析代码、配置、日志和多维度指标,不能仅依赖单一曲线判断。

当前初步测试结果显示,10个前沿模型参与的测试中,整体通过率最高为37.3%。其中83.6%的智能体能正确判断训练状态异常,但仅27.5%能找到准确的根因——这说明“发现训练出问题”比“解释为什么出问题”更容易。

例如,同一条接近零的奖励曲线,可能对应数据难度不匹配、标签错误、解析器失效或奖励计算模块故障等多种原因,需要不同的排查方向。有些奖励曲线看起来正常,但被屏蔽的token比例已经快速升高,只有结合日志和执行机制才能发现隐藏故障。此外,修复效果不能仅看短期反弹,部分补丁早期改善明显,但完整训练结束后性能会再次下降。

目前AutoRLBench仍在持续开发中,团队希望收集更多没有显式报错、涉及多个组件、需要长链条推理,或仅在训练后期才暴露的RL故障案例。如果有曾出现崩溃、排查困难或修复耗时较长的训练经历,可提交相关代码、配置、日志和修复方案,真实可复现的失败案例将成为评估智能体能力的重要参考。

以上内容不代表本平台立场,仅供读者参考