文章摘要
最新发布的SkillOpt-Lite研究刷新智能体自进化认知。团队拆解SkillOpt复杂设计，保留极简循环流程，性能反而提升。在测试中，Lite版全面超原版。基于试点实验推出的SkillOpt-Lite大幅删减组件，主实验显示推理任务性能暴涨、语义任务持平，收敛更快。此外还推出HarnessOpt实现能力倒挂。

最近发布的SkillOpt-Lite研究刷新了智能体自进化的认知——团队先是推出了功能完备的SkillOpt优化管道，随后又亲手拆解了这套复杂设计，仅保留极简的循环流程。令人意外的是，删减冗余设计不仅没有降低性能，反而让模型收敛更快、上限更高，完全应验了智能体优化领域的“苦涩教训”：当基座模型足够强大时，人为堆砌的复杂结构反而会成为性能阻力。

从公开的性能总览来看，SkillOpt-Lite在全部6个基准测试中全面超越了原版SkillOpt和初始技能；在收敛曲线对比中，Lite版本几乎在每个任务的前2到3轮迭代就拉开了与原版的差距。

初代SkillOpt的复杂设计

初代SkillOpt为文本更新设计了全套的“安全刹车”机制，包括mini-batch树状合并、文本学习率衰减（从4调整到2）、拒绝编辑缓冲区、epoch级慢更新以及meta-skill反思模块。团队在开篇就提出了核心问题：智能体技能优化的最小可行管道是什么？每个组件都需要有理论或实证层面的存在依据。

零阶优化与程序编译的类比

研究团队将所有现有的技能优化方法统一映射到零阶优化框架中：比如Reflexion对应单点梯度估计，SkillCat对应中心差分，SkillAdapter对应坐标下降，编辑预算对应信赖域，拒绝缓冲区则对应控制变量。用通俗的话来说，过往的诸多优化方法，本质上是在用自然语言重新发明数值优化的经典逻辑。

经典零阶优化依赖盲扰动来猜测梯度，但智能体的每一次执行都会留下可读的轨迹日志，因此技能优化的本质其实是语言介导的程序编译：技能本身可以看作程序，大语言模型则扮演编译器的角色，而执行轨迹就是调试日志。

基于PAC学习理论，研究还推导出两个核心原则：一是跨轨迹共识挖掘，过拟合单次异常会放大稳定性系数，导致泛化能力崩盘；二是独立验证集门控，留出独立验证集可以将稳定性系数从泛化界中移除，但必须严格保证验证集与训练集独立，研究指出此前的Reflexion、SkillCat、Trace2Skill都违反了这一原则。

试点实验：简化管道的潜力验证

团队通过一个小型试点实验验证了简化管道的潜力：将GPT-5.4-nano的原始执行轨迹保存为文本文件，让GitHub Copilot仅通过shell工具读取日志并直接修改技能，全程不使用mini-batch合并、学习率调度和验证集机制。

测试结果显示，在LiveMath任务上的相对准确率达到50.9，远超原版SkillOpt经过4个epoch训练后的30.3；在DocVQA任务上达到83.7，仅略高于原版的81.2。不过在Spreadsheet任务上，该方案的准确率跌到15.3（初始技能都能达到29.9），这也证明了闭环验证环节不能省略。

这一结果也印证了一个关键洞察：赋予智能体基础的shell工具让其自主读取日志，其效果往往优于经过重度工程优化的基线方案。

SkillOpt-Lite：极简调试循环设计

基于试点实验的结论，团队推出了SkillOpt-Lite，大幅删减了原版的复杂组件，仅保留了核心的调试循环：

  • 移除的组件：mini-batch反思池化、学习率调度、拒绝缓冲区、epoch慢更新
  • 保留的核心四步磁盘调试循环：
    1. 将执行轨迹落地为单个文件
    2. 让优化模型通过shell自主遍历目录、聚类失败案例并读取目标文件
    3. 进行跨轨迹共识挖掘并生成最小差异补丁
    4. 通过独立验证集门控：只有当新技能超过历史最优表现时才会覆盖保存，不符合要求的结果则直接归档

整个循环可以封装为VS Code的Copilot扩展，仅通过一行简单的指令即可触发：

/skillopt-loop rounds=10 batchsize=40 target=gpt5.4-nano

主实验：推理任务暴涨，语义任务持平

团队在6个基准测试和5个不同规模的模型上进行了完整的主实验，其中最亮眼的结果包括：

  • 在LiveMath任务中，GPT-5.5的准确率从36.6提升至73.6，涨幅达到37个百分点，比满配的SkillOpt还要高出8.8个百分点；而GPT-5.4-nano的准确率提升至55.7，涨幅25.4个百分点，甚至反超了经过SkillOpt优化的标准GPT-5.4（54.0）。
  • 在Spreadsheet任务中，GPT-5.4的准确率达到79.4，远超原版SkillOpt的61.5；GPT-4o在LiveMath任务上的准确率也从31.2跃升至58.8。

研究还对性能差异进行了机制解释：mini-batch池化会将多条文本更新的梯度信号平均化，相当于搅糊了梯度信息；而Lite版本的局部文件编辑可以精准解除逻辑死锁。对于SearchQA、OfficeQA等语义型任务，Lite版本的性能提升仅在0.1到1.5个百分点之间，这说明这类任务的性能余量已经被充分挖掘，但Lite版本达到相同性能上限的算力开销显著更低。

收敛速度：前2~3步拉开身位

在10个batch的历史最优验证分曲线中，Lite版本在LiveMath、Spreadsheet等复杂任务上的性能曲线在2到3轮迭代就陡然拉升，而原版SkillOpt因为切分和阻尼带来的结构开销，前期性能增长缓慢，最终的性能天花板也更低。值得注意的是，移除缓冲区和池化并没有导致模型早熟收敛或性能震荡，反而最终的性能上限更高。

彩蛋：HarnessOpt实现能力倒挂

研究团队还基于“一切皆文件”的哲学推出了HarnessOpt，将优化范围扩展到执行脚手架本身，允许直接优化harness代码文件。在工程实现上，HarnessOpt加入了Round-0人工审批引导，以及三条循环不变式规则：修改白名单限制、沙盒冒烟测试、git可回滚机制。

在SpreadsheetBench测试中，出现了有趣的能力倒挂现象：GPT-5.4-nano的得分（0.7758）超过了搭载标准harness和满配SkillOpt的GPT-5.5（0.7620）；单独优化harness的效果已经远超单独优化技能，只有联合优化才能摸到性能天花板（0.8577）。

针对不同模型的问题，HarnessOpt也给出了针对性的修复方案：对于mini/5.4模型，问题在于无法清晰识别数据和缺乏自检能力；对于5.5/nano模型，问题在于工具调用失败后陷入推理死循环，HarnessOpt分别通过扩大预览范围、拦截重复状态来触发 fallback 机制。

当大语言模型足够强大时，最优的优化器不再是精巧的算法设计，而是能够自主读取日志、修改文件的编码智能体。

SkillOpt-Lite: Better and Faster Agent Self-evolution via One Line of Vibe
https://arxiv.org/abs/2607.03451
https://github.com/EvolvingLMMs-Lab/SkillOpt-Lite
以上内容不代表本平台立场，仅供读者参考