RSI的关键:AI需掌握持续产生有效改进的能力

RSI的关键,也许不是AI能不能替人完成一次模型训练,而是AI能不能逐渐掌握产生下一次有效改进的能力。
前期探索
2025年底,相关团队启动了两项针对自进化与RSI的研究工作,分别聚焦于自进化方法评测与Agent环境适应能力。
第一项工作是StudyBench,核心目标是评测自进化方法的真实效果,区分模型是真正实现了能力提升,还是仅在记忆训练数据。研究认为,自进化的核心在于知识向解决新问题能力的转化效率,而非单纯吸收信息——人类仅通过高质量教材、少量习题和反馈就能掌握知识,而模型的迭代却依赖于大量“习题”,因此研究尝试让模型从海量书籍中提取知识,通过迭代前后的性能差异来评测自进化方法的有效性。
第二项工作是PACE-Bench,针对通用Agent在环境变化时的自主恢复能力。随着相关研究将通用Agent引入物理世界,Agent需在环境变化时自主调整方案。PACE-Bench以代码驱动的物理设计为测试场景,例如车辆从公路行驶到冰面打滑时,Agent需识别失效假设并修改机械结构与控制逻辑代码,让方案重新工作。评测结果显示,当前主流方法中表现最好的组合,在完整基准测试中的通过率仅为35.9%,即使是前沿模型也有近三分之一的任务无法通过。进一步分析发现,瓶颈不仅在于模型强度,还包括方法策略的缺陷:部分方法仅进行局部修改,加入记忆后易陷入固守旧设计与无方向探索的摇摆,真正的自进化Agent需同时知道“环境发生了什么”和“该如何调整方案”。
近期,AI参与AI研发(AI for AI)与递归自我改进(RSI)成为热门方向,各类RSI相关基准测试也陆续出现。但需先厘清一个关键区别:AI能够参与AI研发,不等于AI已经实现了递归自我改进。
AI for AI与RSI的核心差异
AI for AI是指AI系统参与人工智能研发的过程,包括帮助完成阅读论文、编写代码、清洗数据、调节超参数、运行实验甚至独立完成模型后训练等任务。这些能力重要,但并非RSI的全部。研究者将AI for AI的能力分为三个层次:
- 任务自动化:Agent独立完成单个AI研发任务,如训练模型、优化数据集或改进代码;
- 迭代式改进:Agent根据上一轮结果调整方案,不断改进模型并将结果用于下一轮;
- 递归自我改进:不仅被改进的模型能力提升,产生改进的系统本身也能通过反馈提升后续改进的能力。
其中,递归自我改进是RSI的核心,关键在于“递归”——第一轮改进的结果需成为下一轮改进的起点,否则仅属于任务自动化或迭代式改进,而非真正的RSI。
当前RSI基准测试的不同测量方向
现有的RSI相关基准测试并非测量同一能力,而是在AI研发与自我改进链条中选择了不同切入点,主要分为三类:
1. Agent能否独立完成模型后训练
PostTrainBench聚焦于端到端的后训练任务:给Agent基础模型、计算资源和时间,让其自主寻找数据、编写代码、选择策略并运行实验,评估训练结果。该测试的价值在于验证Agent完成复杂训练的能力,但仅测量单次任务的完成度,而非持续改进策略的能力。评测显示,当前Agent的加权平均成绩为23.2%,远低于专业团队的基线51.1%,部分目标明确的任务能超过基线,但整体受限于任务范围和策略选择,大多收敛到SFT方法,难以全面评测自主后训练能力。
2. Agent能否自主开展数据研究
RSIBench-Data将评测范围缩小到数据研究环节,固定训练、服务和评估基础设施,让Agent分析模型能力缺口、设计数据策略、调整数据并寻找更优方案。该测试的优势是将数据研究能力独立提取,避免其他环节干扰。研究发现,58.33%的实验中Agent能改进第一次结果,但78.26%的情况在取得最优成绩后继续搜索会导致性能下降,说明Agent需判断何时停止探索、保留已有成果。AutoSFT的进一步研究还发现,Agent存在探索能力不足、归因错误、上下文过载等问题,难以有效开展自动化数据研究。
3. Agent能否发现并修复训练失败
AutoRLBench从训练失败的诊断与修复切入,收集真实的强化学习训练失败案例,要求Agent完成两个层次的任务:判断训练是否健康、找到故障根因并提供证据;修改环境和代码后重新运行,验证修复效果。评测显示,82.6%的Agent能识别训练异常,但仅28.2%能找到正确根因,无法判断训练信号可靠性会导致错误迭代,甚至放大错误。
策略优化比执行实验更关键
研究者分析大量训练轨迹后发现,当前Agent的突出特点是:擅长执行,但不擅长制定策略。具体来说,Agent能调节超参数、修复代码、优化配置,但通常在最初选定训练策略后,很少根据实验结果主动调整策略。分析显示,仅约2.1%的相邻实验会切换策略,说明Agent在既定策略内的局部优化能力强,但难以主动推翻初始策略。
AI研发包含两个层次的能力:执行层面的优化(如调节超参数、修复实现)和策略层面的优化(如判断是否继续当前方案、是否更换算法或数据来源)。RSI真正需要的不仅是执行优化,更需要策略优化——Agent需主动判断是否应调整研究方向,否则无法闭合研究决策的循环。
未来RSI评测的方向:构建能力地图
当前RSI基准测试的价值在于让研究者认识到,AI参与AI研发是多环节能力的组合,端到端测试和细粒度测试需互补。但需警惕基准测试本身对系统的影响,避免Agent为迎合指标而忽略真正的研究问题。
未来的RSI评测应从关注最终结果转向关注整个改进过程,不仅要评估性能提升,还要考察策略选择、错误发现与修复、改进迁移性、持续改进能力等。RSI的核心,依然是AI能否逐渐掌握产生下一次有效改进的能力,而非单次训练的完成度。

