多单位联合推出LLM Agent递归自我改进综述

大型语言模型(LLM)智能体的递归自我改进(RSI)是当前研究的核心方向之一,聚焦于智能体如何通过自身交互经验持续提升性能。近期一份综合了多类研究与产业实践的综述,通过结构化框架连接实际场景与核心研究问题,系统梳理了这一领域的关键进展。
设想一个典型场景:智能体在执行编程任务时遇到API参数更新,需多轮尝试才能修复问题。除了解决眼前故障,RSI研究的核心问题包括:智能体在后续任务中是否会重复相同错误?此次修复能否转化为可复用的规则、记忆或技能?过往经验能否帮助智能体更高效地识别和解决新问题?
该综述围绕经验转化为改进的过程,确立了三条核心研究问题、四条进化主线与七步生命周期框架,选取40项代表性研究绘制全景图谱,并对20项研究中的更新闭环展开对照分析,将分散的方法统一到同一框架中。
智能体自进化的核心问题
为理解经验如何转化为长效改进,综述提出三个相互关联的关键问题:
何时更新,何时保留现有组件?任务失败、新信息到来或工具接口变化都会触发更新。判断修改是否值得保留需经过验证,而其长期价值取决于后续任务中的表现。
问题出在哪里,应调整哪些组件?单次失败可能源于指令模糊、信息过期、步骤缺失或跳过必要检查,修改位置需由执行证据支撑,确保直击根因。
如何从经验中提炼改进,并验证与保留?执行日志需经过分析形成适用范围明确的规则或流程,候选修改需接受效果检验,确认修复目标问题且不影响原有功能后,再纳入系统运行。
智能体适应的四条进化主线
智能体可通过调整四类核心组件实现改进,每类组件都有独特的进化轨迹:
提示词(Prompt)优化:该领域经历了三次重心转移。早期工作通过生成大量候选指令并按任务表现排序,本质是在指令空间中搜索最优解;随后的方法利用失败反馈细化指令,引入编译报错、执行轨迹等结构化信号替代简单的对错标签;最新进展则转向优化生成提示词的智能体本身,而非仅调整任务指令,构建更高效的迭代过程。
记忆(Memory)进化:随着智能体交互增多,积累的信息需被合理区分优先级。初始阶段通过外部存储解决上下文容量限制,按需取回数据;后续系统从成功与失败经验中提取可复用规则;近期研究聚焦于管理记忆有效性,处理矛盾信息、过期内容,根据任务反馈动态调整记忆效用,而非仅依赖语义相似度。
技能(Skill)进化:技能将经验组织为可复用的工作流程,包含适用条件、输入、步骤和结果要求。早期方法保存成功的任务序列供复用,后续面临技能不完善、库中重复冲突、选择困难等挑战,需训练独立的技能管理者维护和更新技能库。
运行框架(Harness)进化:运行框架是组织模型、工具和执行逻辑的核心结构,近期进展将框架本身作为可修改组件,允许系统根据失败经验调整执行规则,例如在代码修改后自动增加测试检查环节,形成持续改进的闭环。
经验转化改进的七步生命周期
为 formalize 经验转化为改进的过程,综述定义了七步生命周期框架,以API参数更新为例说明各环节作用:
- 收集(Collect):保存任务细节、参数、错误信息和执行结果,为后续分析保留依据。
- 评估(Evaluate):判断任务是否成功,识别失败的具体表现与相关反馈。
- 诊断(Diagnose):定位根因(如指令仍使用旧API字段),确定需调整的组件。
- 提炼(Abstract):从具体错误中提取可复用规则(如不同API版本需使用不同字段)。
- 更新(Update):将规则转化为提示词、记忆、技能或运行框架的修改方案。
- 验证(Verify):测试修改后的系统是否正常工作,确保原有有效功能未被破坏。
- 整合保留(Consolidate):留存有效修改,记录其适用条件和版本信息供后续使用。
该框架强调评估(理解发生了什么)和验证(确认修改有效性)的关键作用,为对比不同方法提供了共同语言,系统可根据需求合并、重复或省略部分环节。
持续进化的挑战
尽管框架支持结构化改进,综述也指出了长期进化的核心挑战:
跨组件归因:单次失败可能涉及多个组件(如过期记忆、步骤缺失、参数检查不完善),需协调多组件更新。
长期维护:规则和技能会随工具或任务变化而过时,需处理合并、更新或退役,产生持续维护成本。
独立验证:为确认经验提升后续改进效果,需在相同起点下对比有无经验的修改结果,用未参与候选筛选的任务检验效果,避免偏差。
该综述统一了LLM智能体RSI的研究视角,通过核心问题、进化主线、生命周期和挑战的梳理,为理解智能体如何通过经验实现自我持续改进提供了系统框架。

