清华团队提出SkillMaster 让智能体自主进化技能登NeurIPS2026

据行业观察,随着递归自我改进(RSI)研究的推进,智能体的长期能力进化成为领域内的重点方向。技能作为交互经验提炼出的可复用操作流程与任务策略,能让一次任务的成果服务于后续任务,而让智能体自主创建和改进技能,是实现其持续进化的关键路径之一。
当前主流的技能创建与更新方法,通常依赖外部教师模型、预设规则或辅助模块,这类方法下,执行任务的智能体虽能使用技能,却无法直接学习改进技能的方法,导致技能进化与任务执行脱节。要实现智能体的自主进化,需将“技能进化的方法”转化为智能体可学习的能力,清华大学李勇教授团队提出的SkillMaster框架正是这一方向的探索成果,相关论文已被 NeurIPS 2026 录用。
SkillMaster的核心洞察在于,有价值的技能改进需达成两类效果:让原本失败的相似任务在后续更容易成功,让原本成功的任务以更少步骤完成。基于这一洞察,该框架将这两类效果转化为技能编辑的学习信号,训练智能体根据交互经验创建、更新和保留技能,使技能进化与任务执行共同融入强化学习过程。
SkillMaster的实现包含三个核心环节:第一,基于交互轨迹学习技能管理。技能审查阶段会将任务目标、已检索技能、行动与观察轨迹、最终反馈输入模型,模型通过三类工具调用执行操作:发现技能缺口时创建新技能,观察到反馈与规则冲突时更新技能,对有用技能则予以保留。任务动作与技能工具调用由同一策略生成,技能管理被直接纳入模型训练,框架先通过监督微调让模型具备基础执行与调用能力,再利用效用反馈优化技能决策。第二,通过反事实对照评价技能效用。针对候选技能编辑,系统选取相关探测任务,分别用原始技能库与修改后的技能库执行,对比两类结果的差异:失败任务是否转为成功,成功任务是否减少步骤。探测任务来自训练池,系统综合平均得分变化与任务数量计算效用奖励,仅保留正向修改的技能。第三,采用DualAdv-GRPO联合优化两类决策。任务执行依赖环境结果反馈,技能管理依赖工具有效性与效用反馈,两类奖励尺度不同,框架提出DualAdv-GRPO分别计算任务与技能的优势,共同更新同一策略,让模型同时完成任务执行与技能改进。
实验结果显示,SkillMaster在ALFWorld、WebShop和SearchQA三个基准任务中均表现优异。在ALFWorld与WebShop任务中,任务成功率分别达到98.7%和82.0%,较对比方法SkillRL提升8.8和9.3个百分点;在SearchQA任务中,总体得分达48.0%,同样为最高值,较SkillRL提升0.9个百分点。组件消融实验验证了效用反馈、优势估计分离与探测任务选择的重要性,训练过程中,模型的技能管理行为从早期的频繁创建更新,逐步转向后期的技能保留,显示出进化的有效性。
案例分析进一步展现了SkillMaster的实际效果:在ALFWorld的冷却任务中,智能体因搜索策略缺失导致任务失败,框架据此创建新技能,指导后续优先搜索高概率位置;另一案例中,模型修正了加热操作的条件,使相关任务的步骤从8步缩短至2步,减少了六次多余操作,直接体现了技能改进的价值。
研究展望方面,SkillMaster从技能这一可复用知识载体切入,探索智能体递归自我改进的路径。未来将面向开放环境,优化探测任务选择与效用评估成本,扩展至技能删除、跨智能体共享与分布变化下的持续学习,让技能库与智能体能力随交互共同进化。

