ScholarEvolve让AI Agent从论文学习实现性能跃升

AI Agent能否像研究人员一样，从论文中学习？

近年来，大语言模型的性能持续突破，基于这类模型构建的智能体（AI Agent）也逐渐具备了处理复杂任务的能力——从调用工具、操作软件，到规划并执行多步骤工作流，智能体已从简单的问答交互，发展为能够独立完成长周期、复杂工具调用的任务。与此同时，智能体领域的研究成果正以较快的速度涌现。

但随之而来的是一个亟待解决的现实问题：当智能体遭遇能力瓶颈时，该如何推动其性能提升？

最直接的思路是训练性能更强的底层模型，但智能体的表现并非完全依赖于底层模型。工具调用的逻辑、上下文信息的管理、过往经验的复用方式，以及任务的规划策略，都会对最终的执行效果产生显著影响。

这类围绕底层模型运行的软件系统，被称为智能体运行框架（Agent Harness）。

近期，类似的研究开始探索运行框架的自动优化：让专门的编码智能体分析任务执行中的失败案例，尝试修改框架的代码，并通过多轮实验筛选出更优的版本。

这种方法虽展现出一定潜力，但存在明显局限：编码智能体提出的改进方案，很大程度上依赖于自身底层模型已有的知识储备，以及此前观察到的失败案例。如果某类问题尚未出现，或是模型本身不具备对应的解决思路，它就很难主动探索出有效的改进方向。

研究人员在面对类似问题时，通常会通过阅读最新的学术文献，了解其他研究者提出的方法，再将这些方法应用到自身的系统中。那么，智能体能否具备类似的能力？近日，来自某知名高校和科技企业的研究团队提出了ScholarEvolve方案，尝试将阅读研究文献、实现算法、评估效果这一科研过程自动化，让最新的学术成果能够直接推动智能体运行框架的演化。

ScholarEvolve的核心思路并不复杂：让智能体不再仅依靠自身经验寻找改进方向，而是主动从学术文献中获取新的方法。不过，阅读文献只是第一步，真正的难点在于从海量研究成果中筛选出不同的改进方向，并将这些方向转化为可协同生效的框架模块。为解决这一问题，ScholarEvolve设计了一套自动化的研究与演化流程，主要包含三个环节：

1. 将运行框架拆分为五个核心功能模块

这五个模块分别对应工具接口、上下文管理、技能库、记忆存储和工作流规划。这种模块化划分让系统能够更有针对性地寻找改进方案——例如，当智能体频繁丢失历史信息时，可聚焦于上下文压缩或记忆检索的方法；当智能体难以完成长周期任务时，则可尝试新的任务规划与工作流设计。

2. 让文献研究智能体从学术文献中寻找解决方案

系统首先分析智能体的执行轨迹，识别反复出现的问题，并将其转化为具体的能力需求；随后，文献研究智能体根据不同模块的职责构建检索条件，从学术文献平台中筛选相关研究。不过，ScholarEvolve并非简单选择最相关的几篇文献——高度相关的文献往往采用相似的方法，若将有限的实验资源全部投入这类文献，搜索范围很容易局限于少数技术路线。为此，ScholarEvolve采用主题建模技术，将检索到的文献按不同技术机制归类，确保覆盖尽可能多的研究方向。例如，同样是优化上下文管理，有的文献采用压缩上下文长度的方法，有的则通过检索关键片段保留重要信息，二者虽解决相似问题，但机制不同，这让系统能在有限预算内探索更多解决方案。

3. 将文献中的方法实现为代码，并寻找最优组合

文献研究智能体进一步阅读选中的文献，包括其中的代码实现和提示细节，生成具体的实现方案，再交由编码智能体修改对应的框架模块。每个候选实现都会在验证任务上测试实际效果，但单个模块表现优异并不意味着与其他模块组合后仍有效。因此，ScholarEvolve还会尝试组合不同模块的改进，评估完整框架的性能，保留经验证优于当前版本的设计。整个过程类似一次自动化的科研：从最新文献中提取核心方法，通过代码实现，再用实验结果决定是否采用。

性能提升的实验验证

研究团队在两个典型的智能体基准测试集上开展了实验，分别是聚焦多步骤应用操作的“应用世界测试集”，以及侧重工具调用与用户交互能力的“T²基准测试集”。实验采用两种不同的底层模型，分别与原始框架及同类优化方法进行对比。在应用世界测试集的普通任务中，经ScholarEvolve优化后的模型，任务完成率从69.0%提升至81.4%；在包含未见过应用的挑战任务中，模型的任务完成率从49.6%提升至63.6%，而同类优化方法仅达到54.6%。在T²基准测试集上，模型的单次任务成功率也从72.7%提升至81.9%。这些结果表明，即使不进行额外的模型训练，仅通过优化运行框架，就能显著提升智能体的实际表现。

研究团队还开展了消融实验，分别考察文献指导、模块化搜索和主题建模的作用。结果显示，移除这些设计后，智能体的性能会逐步下降，这说明性能提升不仅来自自动修改代码，还与如何寻找、组织和组合不同的研究方法密切相关。此外，实验还发现一个有趣的现象：单独表现最优的模块，并不一定能组成整体最优的框架，这进一步说明，框架的改进不能仅关注单个组件，还需要考虑不同模块在实际执行中的相互影响。

从单次优化到终身持续进化

ScholarEvolve的更高目标，是让智能体能够随着领域研究的进展持续自动改进。传统的运行框架优化通常在几轮搜索后就收敛，得到一个固定版本的智能体，但领域研究始终在发展——新的工具调用方法、记忆架构或推理策略，可能在数月后才会被提出。ScholarEvolve希望利用这些不断涌现的研究成果，让智能体即使没有遇到新的失败，也能主动尝试新的改进方向。为验证这一思路，研究团队按论文发表时间设置了三个连续的研究窗口，在保持底层模型不变的情况下，模拟新论文逐步加入后框架的演化过程。实验结果显示，模型在普通任务上的完成率从最初的69.0%，经多轮演化逐步提升至73.4%、79.8%，最终达到81.5%。

研究的价值与未来方向

不过，ScholarEvolve并不意味着智能体已经能够完全自主地解决所有问题。研究分析显示，尽管演化后的框架大幅减少了原有问题，但在复杂任务的约束跟踪、信息检索完整性等方面，仍有改进空间。此外，从文献中提取的方法并非总能生效，部分候选实现甚至会导致性能下降，因此实际的评估与筛选环节仍然不可或缺。

不过，ScholarEvolve探索了一条极具价值的路线：过去，新的智能体研究成果发表后，通常需要研究人员或工程师阅读、理解、复现，并手动集成到现有系统中，才能真正发挥作用；而ScholarEvolve尝试将这一过程自动化，让智能体能够主动阅读研究成果、实现新的机制，再通过实验验证其有效性。随着相关研究的推进，未来的智能体或许不仅能完成用户交付的任务，还能自动且持续地从新知识中学习。