测试框架工程:AI代理自我改进的核心引擎

近期有一篇关于AI运行支架工程的深度文章,其核心探讨了如何让AI系统参与自我改进,优化的对象不仅包括模型权重,还包括训练管线、部署系统、上下文管理、工具循环、评估器和可执行的运行支架(harness)。
这里的运行支架,可以理解为模型外围的系统框架:它决定模型如何规划行动、调用工具、管理上下文、保存产出、校验结果,并在失败后继续迭代优化流程。这篇长文的价值在于将自我改进、自动科研、工作流搜索、上下文工程、元运行支架、自我改进运行支架、AlphaEvolve、达尔文哥德尔机等研究纳入同一框架进行统一讨论。
递归自我改进(RSI)的概念最早可以追溯到1965年,当时研究者将“超智能机器”定义为一种能够在所有智力活动中超越人类,并且能够设计出更好机器来改进自身的系统。后续研究者将其描述为一种具体的反馈循环:AI使用当前的智能水平,去优化产生这种智能的认知机制。
在当前的AI研发中,这种反馈循环既可以指模型直接重写自身权重,也可以更宽泛地指模型改进训练管线和部署系统,从而生成在高价值任务上表现更优的后继模型。前沿AI实验室的研发速度正在显著加快,这一点可以从多个头部AI团队的公开讨论中得到印证。
我们之所以特别强调部署系统,是因为原始模型和真实世界上下文之间的中间层,其重要性不亚于模型本身的原生智能——也就是预训练完成后直接评测出的基础能力。类似Claude Code、Codex这类成功的代码智能体产品证明,运行支架是AI部署环节中的核心组成部分。运行支架本质上是围绕基础模型的一整套执行系统,它编排整个执行流程,定义模型的思考规划、工具调用、上下文感知、产物存储以及结果评估逻辑。
本文将聚焦运行支架工程相关研究,以及其如何参与递归自我改进循环。目前已有大量关于自动科研、自我改进智能体和演化式程序搜索的研究,都可以围绕这个框架重新组织。模型自博弈、合成数据生成、测试时训练以及更广泛的持续学习方向也符合RSI的愿景,但本文不会深入探讨这些内容。
Harness 设计模式
现代智能体框架通常被概括为“智能体 = 大模型 + 记忆 + 工具 + 规划 + 行动”,而运行支架工程在此基础上额外包含工作流设计,比如循环工程、评估体系、权限控制和持久状态管理。它不再仅仅是简单的提示词模板,更接近运行时系统和软件工程:定义模型如何观察、行动、记忆、自我检查和持续优化。
为了具备泛化能力,这类设计应当保持简洁通用,并参考现有软件工程实践,从预训练知识中获益。运行支架和操作系统之间有很强的类比关系:类似操作系统,运行支架应当封装复杂逻辑,同时保持对外接口简洁。随着行业发展,配置、工具接口和其他协议也将逐步标准化。
模式1:工作流自动化
定义一套允许模型操作、测试和迭代的工作流,是实现自动化的核心设计。比如开源的自动研究仓库提供了清晰的示例,展示了这类工作流的构建方式。常见的工作流会沿着目标导向的循环前进:规划、执行、观察/测试、迭代改进,再次执行直到目标达成。这个过程还可以主动向用户请求澄清任务描述或调整执行偏好。
工作流图也强调,模型会分析自身的执行轨迹和失败案例,通过智能体运行时而不是静态提示词模板,对当前的进展进行迭代优化。
模式2:用文件系统作为持久记忆
在长周期的智能体系统中,一个反复出现的设计模式是:通过简单的控制逻辑来管理丰富的状态和产出。运行支架不应该将整个工作流和所有日志都塞进上下文窗口,而是应该将持久状态存储在文件系统中。
在长周期的智能体执行过程中,实验日志、代码差异、论文摘要、错误追踪和历史执行轨迹,往往远远超过模型训练时适配的上下文窗口长度。模型通过bash命令来读写编辑文件系统是大模型的基础能力之一,因此用文件这种轻量形式管理持久记忆,自然可以受益于大模型能力的持续提升。
模式3:子智能体和后台任务
运行支架可以生成多个子智能体并行执行任务,也可以监控后台运行的任务。当主智能体需要探索多个假设、并发运行多个实验,或者将隔离子任务委派出去,同时避免污染主上下文时,这种设计就显得尤为重要。
父智能体此时需要一个轻量的进程管理器:启动任务、检查运行日志、取消失败的执行,并将结果合并回主智能体线程。这里的关键设计选择是让并行性显式且可追溯:如果子智能体的输出仅存在于临时聊天上下文中,它们很快就会过期并被隐藏;如果将输出保存为文件、日志和状态记录,模型就可以在中断后恢复执行,并基于完整的执行历史进行推理。
案例研究:代码智能体运行支架
主流代码智能体的核心接口已经在多个产品中逐步稳定,它们通常遵循类似的循环流程。在一组工具的支持下,代码智能体可以在给定的代码仓库中开发和调试问题,类似人类开发者使用集成开发环境的工作方式。
常见的工具包括文件系统操作(如文件发现、读取、修改)、Shell命令执行、语言服务协议、Git工具、外部上下文工具、网络搜索、产物生成、后台进程管理以及智能体委派功能。
Harness层还是核心智能?
很难预测递归自我改进未来会在多大程度上依赖运行支架工程,但短期内,RSI不太可能从模型直接重写自身权重开始。我们对近期实际路径的判断是:
-
运行支架工程将朝着元方法论的方向演进,也就是改进“获得更好答案的机制”,而不仅仅是改进答案本身。运行支架系统自身将成为优化目标,其中启发式规则会逐步减少,更通用的机制会不断增加。
-
成熟的运行支架反过来会支持用于模型自我改进循环的自动研究;更智能的模型也会防止运行支架过度工程化,让整个系统更可持续。
最终,很多运行支架的改进都有可能被内化为核心模型行为,但模型与外部上下文和工具之间的接口仍然会长期存在。我们已经在提示词工程中看到过类似的趋势:随着指令微调技术和模型推理能力不断增强,手工提示词技巧的重要性逐渐降低,但指定目标、约束、上下文和评估需求并没有消失。
Harness 优化
随着智能体任务的时间跨度显著增加,如果只是将所有工具响应和模型生成的内容追加到上下文窗口中,上下文很快会变得无法管理。上下文管理是一层用于为大模型构建更结构化、更简洁的上下文,并管理持久状态的机制。毫无疑问,长上下文研究还将持续进步,但目前长上下文智能和上下文工程往往是紧密交织的。
Context Engineering
智能体上下文工程(ACE)将上下文视为一份不断演化的操作手册,而不是越来越长的提示词。它包含三个核心组件:
- 生成器,用于生成任务轨迹并引用条目
- 反射器,从成功和失败的执行轨迹中提炼洞察
- 管理器,以增量、条目化的方式更新结构化上下文
为了避免迭代重写过程中的上下文崩溃和简洁性偏差,ACE的关键设计选择是不会重写完整的提示词块,而是输出一组结构化、条目化的键值对,这些条目会通过确定性逻辑合并进结构化上下文日志,上下文条目会定期被精炼和去重。
ACE可以从执行过程中学习洞察,这帮助我们走向自我管理的记忆,但它的更新规则和整体工作流仍然是手工设计的。为了进一步靠近自我改进循环,元上下文工程(MCE)将机制和内容分开:机制指如何管理上下文,内容指上下文包含的具体信息。
MCE在元优化层运行技能演化,在基础层运行上下文优化。一个MCE技能定义了一个上下文函数,并将输入映射到特定上下文,其中静态组件包括提示词、知识库、代码库等,动态算子包括搜索、选择、过滤、格式化等。
这个双层优化的目标是:在训练数据上,给定技能找到最优的上下文;同时外层循环寻找在验证集上表现最好的最优技能。技能数据库会跟踪此前的技能、上下文函数和评估指标的历史记录。元层智能体可以基于此前的技能进行智能体交叉操作,从而为任务创建新技能,然后基础层上下文工程师执行该技能,并在当前技能的指导下,从执行反馈中学习上下文函数。
MCE不像ACE那样强制规定上下文的结构化方式,它使用自由形式的技能来保存任务中最重要的知识,并让技能与受技能约束的上下文一起迭代演化。从实现角度看,一个上下文函数可以被实例化为专用目录中的一组文件,包括静态组件和动态组件。元层和基础层优化都运行在智能体编码环境中,使用一套标准的工具。
元运行支架又往更深处走了一层:被优化的对象是决定并优化“哪些信息应该被存储、检索和呈现给模型”的代码。它名字中的“元”表示:这是一个用来优化运行支架的运行支架。
用于创建新运行支架的提议者本身就是一个代码智能体,最终输出一组位于帕累托前沿的运行支架候选。整个执行历史都可以通过文件系统访问,因此代码智能体可以使用grep或cat等命令读取历史,而不是将所有内容塞进单个提示词上下文。被提出的运行支架是文件系统中的一个字典,包含自身的源代码、分数、执行轨迹和状态更新。元运行支架循环会迭代创建新的运行支架,并且只保留符合要求的运行支架。
一旦运行支架设计变成可执行的搜索空间,强大的代码智能体就能利用人类工程师也在使用的同一个设计空间,这是非常有价值的经验。
Workflow Design
运行支架工程中的工作流设计可以由领域专家手工设计。以自动研究为例,已经有多种框架被提出并测试,比如构建了从提出研究想法、编写代码、运行实验、分析结果、撰写论文并执行同行评审的完整管道。
还有的框架将可验证性作为核心设计约束:每个声明,包括引用、数值、方法和结论,都必须能追溯到证据来源,并通过链式证据检查进行审计。
自动数据智能体被设计为一个用于生成训练和评估数据的数据科学家,主智能体管理一个挑战者、一个弱求解器、一个强求解器以及一个验证器/评判者,目标是合成难度“刚刚好”的数据,也就是强求解器能够成功而弱求解器会失败。
在自动数据智能体中,挑战者的提示词会根据求解器和验证器的反馈进行迭代更新。不过这类设计的局限在于,合成任务被用于微调弱求解器,而不是强求解器;如果这个循环不能迭代改进强模型,它更像是在生成的提示词分布上进行间接蒸馏,递归自我改进的特征会相对较弱。
工作流的设计空间非常广阔,我们可以将工作流设计视为一个搜索问题,因此也应该能够通过算法找到更优的解决方案,而不仅仅依赖手工设计。比如将智能体设计本身表述为一个优化问题,也就是“元智能体搜索”:由一个元智能体提出新的智能体工作流设计。
首先用简单的智能体初始化一个工作流存档,然后要求元智能体受现有方案启发,用代码编写新的智能体。元智能体先生成新工作流的高层描述,然后用代码实现。草稿程序随后经过两轮自我优化,也就是让模型给出反馈,再让同一个模型基于反馈改进之前的输出。随后评估每个新的候选方案,并将成功的方案加回存档,重复这个过程直到达到最大迭代次数。
另一个工作流优化方法AFlow将智能体工作流表示为一张图,其中节点代表调用大模型的动作,边则用代码实现逻辑操作。工作流优化依赖蒙特卡洛树搜索:首先用模板在树中初始化起始工作流,然后使用分数和均匀探索的软混合方式选择一个工作流节点,要求大模型根据该工作流的评估表现生成修改后的工作流,对该节点进行扩展,执行并评估新的工作流,如果新工作流在指定轮次预算内表现出改进,就将其加回树中,重复这个过程直到top-k平均分不再提升或预算耗尽。实验表明,AFlow在问答、代码和数学任务上相比人工设计工作流和自动设计方法带来了显著提升。
Self-Improving Harness
上下文工程或工作流设计都只是运行支架的一部分。我们需要搜索整个设计空间,并将上下文管理逻辑、工作流、权限控制和许多其他运行支架组件一起优化。正如元运行支架、自动设计智能体系统和AFlow等工作已经展示的那样,代码是定义程序和系统的通用语言。简单来说,运行支架是一段代码,它编程化地规定提示词、工具调用、子智能体、控制流、记忆和工作流逻辑如何协同工作。如果大模型能够优化执行智能体的代码,就能进入远比手写提示词更广阔的设计空间。
自我学习优化器(STOP)是递归支架改进的早期例子之一。一个初始改进器在初始时接收一个初始解、一个效用函数和一个黑盒大模型,并返回一个改进后的解。STOP的目标不是直接改进解本身,而是改进改进器本身。
首先,将元效用定义为给定改进器函数在一组下游任务上的平均效用。因为改进改进器函数本身也是一个优化问题,我们可以根据改进器的元效用表现,通过自我改进更新,递归得到新版本的改进器。
在相关实验中,改进后的改进器发现了多种策略,比如遗传算法、分解并改进局部、多臂提示词老虎机、模拟退火、变化温度以及束搜索/树搜索,这类似于将运行支架工作流表示为一个可以被优化的对象。不过实验结果也有需要谨慎看待的地方:STOP在使用GPT-4时,会随着迭代次数增加而提高下游平均表现;但在GPT-3.5和Mixtral等较弱模型上,表现反而下降。这说明递归结构本身并不足够,基础模型必须足够有能力去改进机制,也就是运行支架改进可以帮助模型更好地部署,但智能本身仍然是核心。
更新近的工作Self-Harness依赖大模型智能体,通过提议-评估-接受循环来改进自身的运行支架。Self-Harness的循环分为三个阶段:
-
弱点挖掘:将失败案例聚类为由验证器支撑的失败模式。当前的运行支架会在任务上进行评估,并收集执行轨迹用于分析。需要注意的是,在错误日志表面上,两次运行可能共享相同的验证器结果,比如超时或缺少产物,但它们背后的因果机制可能不同。因此,我们需要包含丰富信息的失败记录:终端验证器级别原因、相关智能体行为的因果状态,以及轨迹暴露的抽象智能体机制,用来发现根本原因。
-
运行支架提议:基于挖掘出的失败模式,提出有边界的运行支架编辑。同一个模型会在当前运行支架下作为提议者被调用。模型拿到的是一个有边界的提议上下文,包括当前运行支架的可编辑部分、来自评估系统并由验证器支撑的失败模式、应该保留的成功行为记录,以及此前尝试过的编辑摘要。运行支架的编辑应该优先处理反复出现、可处理的错误模式,比如不是任务特定难度导致的问题,并且可以通过窄范围修改解决,同时编辑候选应该彼此不同并保持多样性。
-
提议验证:验证并合并合格的编辑,创建新的运行支架。候选编辑会在保留的训练数据和留出的测试数据上通过回归测试进行评估,前者用于测试弱点是否被解决,后者用于检查是否引入了其他未知问题。只有在训练和测试数据上都没有性能退化的候选才会被接受。被接受的候选会被合并,用来将运行支架更新为新版本;被拒绝的候选会被记录,但不会改变当前激活的运行支架。
当在多个模型上运行时,Self-Harness被证明可以学习针对不同基础模型弱点的模型特定运行支架指令,并提高留出数据集的通过率。Self-Harness这类工作也引发了一些担忧:如果一个程序被允许编辑操作系统级别的代码,那么抽象边界就被打破了。可编辑的表面需要被妥善设计,权限控制和安全层也需要位于这个循环之外。围绕奖励黑客的所有挑战仍然存在。
演化搜索
演化搜索是一种受自然选择启发的优化方法,它通过变异演化一组解决方案,并只保留群体中适应度高的部分。当搜索空间巨大或形状怪异,或者很难用梯度直接优化但很容易评估解决方案时,演化搜索就非常有用。运行支架搜索正好符合这种场景。
过去的研究已经将演化搜索用于提示词工程,比如Promptbreeder通过一组丰富的变异操作优化特定任务的提示词,有意思的是,变异提示词,也就是给大模型的、用于修改任务提示词的指令,本身也会通过演化得到改进。GEPA将基于反思的提示词工程和演化搜索结合起来,并使用对试错轨迹的自然语言反思来提出提示词更新。
AlphaEvolve是一个代码智能体演化搜索系统,会保存一个候选程序池,并提示冻结的大模型生成差异来进行改进。随着系统反复评估子程序并保留成功的程序,它会逐步发现更优的解决方案。AlphaEvolve的设计中有几个关键细节:提示词包含父程序、运行结果、指令,有时还包含元信息;代码智能体可以访问完整的代码仓库,但用于改进的代码区域会用明确的标记标出;元提示词会按照大模型的建议,和指令、上下文一起共同演化,方式类似解决方案程序的演化。消融实验显示了演化过程、提示词中的上下文、元提示词、全文件演化以及使用更强大模型的价值。
近期的变体比如ThetaEvolve将演化搜索与强化学习和上下文学习结合起来。ShinkaEvolve则引入了三个新组件来提高大模型的采样效率:通过设计父采样在性能排名和后代数量之间取得平衡,从而实现更高的采样效率的探索;通过代码新颖性拒绝采样丢弃与现有人群过于相似的候选,相似度基于嵌入的余弦相似度;在元草稿本中识别成功解决方案中的好模式,用来指导未来的变异。
和上面这些专注于解决方案改进的方法不同,达尔文哥德尔机明确将可编辑的运行支架代码仓库的演化作为目标,并使用基于大模型的代码智能体。准确地说,这个智能体被允许修改自己的运行支架。后续关于超智能体的工作引入了一个元智能体,用来控制如何修改已有的任务智能体,从而创建新的智能体。具体流程是从池中的一个代码智能体开始,在每次迭代中,以与性能成正比、与其后代数量成反比的概率选择一个父智能体,对其进行修改并分支生成新的智能体。被选中的父智能体检查自己的基准评估日志,然后提出对自身运行支架代码库的改进,生成新版本的代码智能体。代码编辑通过两个基础工具实现:bash命令和编辑器。新的代码智能体被评估,只有表现足够好的智能体才会被加回池中,重复这个过程直到触发停止条件。
达尔文哥德尔机是在固定模型下进行运行支架演化。在以特定大模型作为基础大模型、初始运行支架配置较简单的实验中,发现的智能体在多个基准上取得了显著提升,达到或超过了手工设计的智能体。当候选解决方案可以自动评估、候选适应度也容易量化时,这类方法表现很好,比如矩阵乘法、GPU内核优化、算法竞赛和数据中心调度。但在评估缓慢、含糊或主要依赖启发式判断的领域,这类方法会更加困难。演化的计算效率和有效性也是需要关注的问题。
与模型权重联合优化
运行支架演化改变的是模型周围的非参数系统。为了实现完整的自我改进,模型可以同时被允许更新自己的权重。权重更新可以通过改进模型训练管线实现,也可以通过测试时持续学习实现。持续学习这个主题本身值得单独撰文探讨。
自我改进AI(SIA)是将运行支架改进和模型参数更新放在同一个优化循环里的早期尝试。它的设计包含三个组件:元智能体,用于提出初始运行支架;任务特定智能体,用于执行任务;反馈智能体,基于最近的执行轨迹,选择下一步是更新运行支架还是更新模型权重。
SIA的实验中有一些混杂的选择,使得结果不容易解释。比如,任务特定智能体远弱于元智能体和反馈智能体所使用的模型,基准线也太弱,无法与相关方法进行清晰的对比。虽然这个方向很有意思,但目前的证据仍然是初步的。训练稳定性、古德哈特定律效应等许多挑战仍然没有解决。
未来挑战
自动研究相关的工作很好地展示了:由专家设计的运行支架可以协调自动研究循环中的大部分工作,并以撰写研究论文的形式完成实验。但撰写论文并不等同于真正的科学发现。一个系统可以写出看似合理的手稿,但仍然可能存在虚构引用、实现漂移或实验结果薄弱的问题。
有研究测试了大模型能否在最小的支架和基础工具下,从一个研究想法发展成一篇完整的论文。这些基础工具包括文件读写、网络搜索、列出文件等。每个研究想法都有专属的工作空间,智能体可以在其中生成和读取文档作为上下文。研究人员在三个领域进行了实验:世界模型、多智能体强化学习、AI安全与对齐。每个领域包含45到50篇高质量的种子文档,用来启发新的研究想法。最终只有四个想法被人类专家选中进入完整的管道,只有一个被完整执行成论文。实验中观察到六类反复出现的失败模式:
- 偏向训练数据的默认项,比如使用旧库、过时命令、标准格式,或使用没有基于实际仓库或数据集的假设
- 执行压力下的实现漂移,当实现变得技术上复杂时,模型可能会选择更常见、更简单的方案,而不是原本提出的方法
- 记忆和上下文退化,长周期的项目会丢失关键细节,除非日志被保存为持久产物
- 过度乐观,模型会在实验嘈杂或失败时仍然宣布成功,这和观察到的“p值操纵和发现模式类似,模型可能引入“数值胶水”,在信号仍然只是噪声时就宣布胜利
- 领域智能不足,模型缺乏隐性的工艺知识,比如预测实现复杂度、判断某个实验结果是否可信,或者知道哪些基准是重要的
- 科学品味较弱,实验可能能够运行,但没有回答正确的问题
要实现完整的递归自我改进,研究人员已经取得了实质性进展,但仍有几个关键瓶颈存在。
1. 弱而模糊的评估器。 很多研究声明没有快速且精确的验证器,很多真实世界的任务也是如此。当前的自我改进循环最适合那些评估指标可测且客观的任务,这和强化学习的工作方式类似。研究品味、新颖性和长期科学价值要难测得多。例如,研究品味通常混合了问题框定、实验设计,以及对哪些令人惊讶的结果值得追踪、哪些失败案例值得重试的判断。
2. 上下文和记忆生命周期。 随着AI智能体变得更加自主和独立,记忆的规模也会增长。一个有用的运行支架需要管理上下文和记忆,以弥补现有长上下文生成的限制,同时尽可能提高长周期任务的成功率。人类能够在一生中维持记忆;从这个类比来看,上下文工程将会、也应该成为智能的核心部分,而不是仅仅停留在软件系统层。
3. 负结果。 研究人员有动力发表成功的结果,因此文献会偏向成功案例。大模型在大量数据上训练,而这些数据大多是人类创造的,这意味着训练数据中成功案例与失败案例的分布不平衡,大模型可能不擅长判断何时应该放弃一个假设、报告一个负结果,甚至承认失败。一个研究运行支架应该让失败尝试很容易被保留下来,因为从失败中学习是缩小任务搜索空间的最佳方式。
4. 多样性坍缩。 演化和强化学习循环倾向于利用已知的高奖励模式。我们需要一些机制来防止群体坍缩成同一种方案的变体。对于开放式研究来说,这一点尤其关键,因为最好的路径在当前评估器下,一开始可能看起来表现较差。
5. 奖励黑客。 自我改进循环会优化它被给予的信号。如果奖励来自单元测试,智能体可能会过拟合测试;如果奖励来自评判模型,它可能会学到专门针对这个评判器的奖励黑客技巧;如果奖励来自基准分数,它可能会利用基准数据中的人工痕迹。评估器和权限控制大概率应该位于演化运行支架的循环之外,并在关键决策点配合留出的测试、轨迹审计和人工审核。至于这种监督可以扩展和自动化到什么程度,仍然是一个开放的研究问题。
6. 长期成功。 外部优化循环作用于单个执行之外的奖励,而这些执行是我们可以在训练沙箱中模拟的。以代码智能体为例,代码智能体已经提高了软件工程中的日常生产力,但许多优化目标仍然过于短期。它经常能完成手头的任务,但不太清楚它应该如何保护一个由数百或数千名工程师共同维护的代码仓库的长期健康。标准的基于沙箱的强化学习风格训练,很少能捕捉到可维护性、所有权边界、迁移成本、向后兼容性或未来的调试负担。
7. 人类的角色。 人类应该上升到更高的抽象层级,而不是从循环中被移除。也就是说,人类应该在正确的时间、以正确的抽象层级提供监督;我们的系统设计也应该考虑何时、如何设置这些接触点。上面列出的许多挑战都需要人类的反馈和引导。毕竟,我们是在为人类更好的未来构建技术,而不是反过来。
相关基准测试
-
PaperBench:从零开始复现20篇ICML 2024的Spotlight和Oral论文,包括理解论文贡献、开发代码库并成功执行实验。每个复现任务被拆分成更小的、可以单独评分的任务。总共有8316条评分标准,由论文作者共同参与制定。当时表现最好的模型在该基准上的准确率约为21%,没有超过机器学习博士的水平。该基准包括PaperBench、更轻量的PaperBench Code-Dev版本以及JudgeEval。
-
CORE-Bench:评估已发表研究的计算可复现性。该基准基于计算机科学、社会科学和医学三个领域的90篇科学论文,构建了270个任务。任务涉及使用给定的代码和数据复现结果。基准包含多个难度级别,以及仅语言和多模态语言任务。当时报告的最佳智能体在最难的任务上只有21%的准确率。
-
ScienceAgentBench:评估用于数据驱动科学发现的大模型智能体。该基准从数学、化学、生物和地理四个学科的44篇同行评议论文中抽取了102个任务。覆盖这些领域中的基础数据科学任务:数据处理、模型开发、数据分析和信息可视化。
-
RE-Bench:在真实的机器学习研究工程环境中,比较前沿的AI智能体与人类专家的表现。该基准包含7个具有挑战性的开放式机器学习研究工程环境。每个环境包含评分函数、初始解决方案和参考解决方案,并且都可以使用8块或更少的H100 GPU运行。示例任务包括优化内核、运行缩放定律实验、修复嵌入、为问答任务微调GPT-2等。该基准包含来自61名不同人类专家的71次八小时尝试的数据。人类专家在82%的八小时尝试中取得非零分数;24%的尝试达到或超过了强参考解决方案。在2小时的预算下,最佳的AI智能体得分比人类高4倍;但人类在更长的预算下表现更好,并在8小时和32小时的设置中超过了智能体。
-
MLE-bench:在离线的Kaggle竞赛上评估机器学习工程智能体。该基准包含从Kaggle精选出的75个机器学习工程竞赛。测试内容包括训练模型、准备数据集、运行实验以及向评分脚本提交预测。使用Kaggle的公共排行榜作为人类基线。论文中最佳的设置在16.9%的竞赛中至少达到了Kaggle铜牌水平。该基准包含资源扩展和污染分析。
-
KernelBench:评估生成GPU内核的正确性和速度。该基准包含250个PyTorch任务,用来评估大模型能否编写快速且正确的内核。评估指标fast_p表示生成的内核中既正确又快于基线的比例。
参考文献
- 关于超智能机器的推测,发表于《Advances in Computers》1965年
- 递归自我改进,发布于LessWrong 2008年
- 代码修复的锚定自博弈,发表于ICML 2026年
- 零数据强化自博弈推理,发表于arXiv预印本2025年
- 自我奖励的大模型,发表于arXiv预印本2024年
- 自博弈微调将弱大模型转换为强模型,发表于ICML 2024年
- 智能体上下文工程:为自我改进大模型演化上下文,发表于ICLR 2026年
- 通过智能体技能演化的元上下文工程,发表于arXiv预印本2026年
- 模型运行支架的端到端优化,发表于arXiv预印本2026年
- AI研究的端到端自动化,发表于《Nature》2026年
- 通过链式证据实现人类水平的自主研究,发表于arXiv预印本2026年
- 一个智能体数据科学家来创建高质量的合成数据,发表于arXiv预印本2026年
- 智能体系统的自动化设计,发表于ICLR 2025年
- 自我细化:通过自我反馈进行迭代优化,发表于NeurIPS 2023年
- 自动化智能体工作流生成,发表于ICLR 2025年
- 自我学习的优化器:递归自我改进的代码生成,发表于COLM 2024年
- 自我改进的运行支架,发表于arXiv预印本2026年
- 提示词育种:通过提示词演化实现自指自我改进,发表于arXiv预印本2023年
- 反思性提示词演化可以优于强化学习,发表于arXiv预印本2025年
- 用于科学和算法发现的代码智能体,发表于arXiv预印本2025年
- 走向开放式且样本高效的程序演化,发表于arXiv预印本2025年
- 开放问题的测试时学习,发表于arXiv预印本2025年
- 自我改进智能体的开放式演化,发表于arXiv预印本2025年
- 超智能体,发表于arXiv预印本2026年
- 测试时学习发现,发表于arXiv预印本2026年
- 测试时发现的认知不确定性,发表于arXiv预印本2026年
- 带有运行支架和权重更新的自我改进AI,发表于arXiv预印本2026年
- 为什么大模型还不是科学家:四次自主研究尝试的教训,发表于arXiv预印本2026年
- 使用GPT-5加速早期科学研究,发表于arXiv预印本2025年
- 评估AI复制AI研究的能力,发表于ICML 2025年
- 评估语言模型智能体的前沿AI研发能力,发表于ICML 2025年
- 评估机器学习工程智能体,发表于arXiv预印本2024年
- 面向数据驱动科学发现的语言智能体的严格评估,发表于ICLR 2025年
- 通过计算可复现性代理基准促进已发表研究的可信度,发表于TMLR 2024年
- 大模型能否编写高效的GPU内核,发表于arXiv预印本2025年
塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台,致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴,你不仅可以学习众多AIGC类实战课程,获得与时俱进的AIGC技能和视野,还有机会获得长期商业合作和接单机会!点击进入:https://www.tahou.com/
AI生成内容提示:本文由人工智能辅助创作,内容仅供参考,不代表平台观点。请注意核实信息的准确性,并理性判断。


