AI方法创新瓶颈：MLS-Bench揭示模型能力边界
如今的人工智能已经能够熟练编写代码、运行实验，甚至通过大规模试错刷新了不少人类创下的纪录。但当目标不再是“刷高某个单一评测分数”，而是“提出真正更优的机器学习方法”时，当前最前沿的AI模型还能走多远？
一项覆盖12个机器学习领域、包含140个真实研究任务的全新评测基准MLS-Bench，给出了并不乐观的结论。即使拿到人类最优方法的完整实现，并被允许反复开展实验，当前的前沿AI模型依然没有展现出可靠的方法创新能力，它们所谓的新方案，大多只是对已有方法的调优和重新组合。
值得注意的是，MLS-Bench的评测已经被纳入两款主流模型的官方发版表。在相关厂商的官方评测列表中，MLS-Bench-Lite与软件工程、终端操作和通用智能体评测并列出现。2026年6月，首款代码类模型首次将其纳入官方评测；一个月后，升级版本再次采用；随后另一款主流大模型也将其加入官方发布结果。对于一个刚提出的研究评测来说，这样的采用速度说明，行业关注的焦点已经不再是智能体能否完成更多编码任务，而是它能否推动人工智能本身的研究进步。
这并非一套普通的代码评测任务。MLS-Bench-Lite从完整评测中筛选出30个任务，覆盖全部12个机器学习领域，专门考察模型能否围绕真实研究问题，提出并实现更优的解决方案。
拿到最优基线后，模型仍在重组答案
在论文的主实验中，研究团队评测了五款前沿AI模型。模型既可以直接提交首次提出的方案，也可以进入真实代码库，多轮修改代码、运行实验后再提交最终实现。研究团队还将每个问题上公认的最优人类方法的完整代码直接提供给模型，也就是说，模型并非在信息不足的情况下从零开始猜测答案，而是已经站在当前最优方法的基础上，任务仅剩向前推进一步。
主实验的结论十分明确：在当时评测的五款模型中，所有模型提出的方法整体表现都无法超过人类最优基线。即便模型拿到了人类最优方法的实现，并被允许进行多轮实验，这关键的一步依然没有发生。随着更强的模型加入评测，汇总分数或许会继续上涨，但领先成绩本身依然不高，评测远未达到饱和。同时，单次总分超过某条基线，并不意味着模型发现了全新的机制，真正的问题在于，性能增益究竟来自方法创新，还是来自更充分的调优、搜索与已有组件的重组。
研究团队进一步分析了模型的具体输出，结果发现，当提示词从“发现一种新方法”调整为“优化现有方案”时，模型的表现反而更好。专家逐项分析提交的结果后发现，模型经常将已经出现过的模块重新排列组合，再将这种组合包装成新方法；真正全新的机制极少出现，即便偶尔出现，也往往缺少能够解释其有效性的有洞见的假设。
这一现象颇具反差：模型能够读懂代码库，识别多个基线的组成部分，也能将不同组件拼接成可运行的系统。从工程执行的角度来看，这已经是很强的能力；但从科学发现的角度来看，它依然没有回答最关键的问题：为什么需要新的机制？它要修正现有方法中的哪项根本缺陷？又凭什么在新的数据和规模下依然有效？
当模型缺乏这样的判断能力时，多轮实验很容易退化为局部爬山。它会根据刚看到的结果微调权重、组合模块、修改训练细节，偶尔可以获得性能增益，但很难形成一个具有解释力、可迁移的研究主张。这并非简单的“分数还不够高”，当前的模型距离真正的方法发现依然很远：它们会调参、修改工程细节、拼装已有组件，却无法像优秀的人类研究者那样，提出真正有价值的算法创新。
外推到科学发现
过去一年，自动研究与递归自我改进的相关研究迅速升温。有研究在特定问题上找到了更优的构造，也有智能体围绕固定目标不断试错。与此同时，“自进化”正在成为一个不断扩张的标签：让智能体编写更多项目代码、自动生成技能、更新记忆、清理数据、合成训练样本，甚至优化训练基础设施，都被纳入了人工智能改进自身的叙事中。
有机构梳理了一条直观的演化路线：模型从最初提供代码片段的聊天机器人，逐渐成为能够独立运行代码的编程智能体，再发展为能够分派长程任务的多智能体系统。其内部数据显示，该机构的模型编写的代码已经占到合并代码的80%以上，工程师人均合并代码量也出现了显著增长。不过该机构也表示，真正的“闭环”依然在未来：由智能体自主构建和训练下一代模型。
国内也出现了相似的叙事，有模型的官方发布将其创建强化学习技能、更新记忆并优化自身学习流程称为“开启模型的自我进化”。这些进展确实提升了人工智能研发的自动化程度，但它们主要回答的是模型能否更深地参与已有流程，而更关键的问题依然没有得到解决：人工智能能否发现人类尚未发现的方法？
现有的相关研究证明，大模型可以成为强大的搜索工具，但它们通常有一个共同的前提：验证成本低、反馈速度快、结果可以通过单一分数清晰判断。系统可以一次性生成大量候选方案，再从中筛选出最优结果。但真正改变机器学习领域的方法并非如此诞生：Attention、残差连接、归一化和Adam优化器的价值，不在于它们仅在某一次实验中多提升了几个百分点，而在于它们在不同的数据、模型和规模下依然有效。支撑科学进步的，正是这种可迁移、可扩展的方法发现。
这也呼应了学者在《苦涩的教训》中提出的标准：长期真正有效的方法，往往是通用且能够随着计算资源的增加持续发挥作用的。我们需要的是能够独立完成发现过程的人工智能，而非仅仅装载人类已有发现的系统。从GAN、Seq2seq、VAE、BatchNorm，到ResNet、Transformer、扩散模型、LoRA、RMSNorm与PPO，机器学习社区的繁荣正是源于一批经得起时间、领域与规模检验的方法。让人工智能更快地实现这些方法固然重要，但递归自我改进真正的野心目标，是让人工智能独立发现下一批这样的方法。
此前并没有一套评测能够真正测量这种能力。很多工程类任务将方法设计、超参数调整、数据处理和实现技巧混在一起；一些开放式研究任务仅关注最终分数，无法判断性能提升究竟来自算法创新，还是来自扩大模型规模、修改评测器等捷径。现有的基准在覆盖方式上也存在断层：一类任务本质上是数据挖掘竞赛，给定训练集和测试集，让模型清洗数据、组合已有算法，最后提交预测结果；另一类任务要求智能体生成研究方案或论文，再由语言模型从新颖性、完整性和可行性等维度进行打分，却不会直接运行并比较其提出的方法。前者更接近工程实践，后者更接近文本评价，都没有正面回答“方法是否真的变得更好”这一核心问题。
MLS-Bench正是为了锁定这条最难测量的能力轴而设计的。它覆盖了语言模型预训练与后训练、视觉生成、强化学习、机器人、机器学习系统、AI for Science、优化与理论、因果推断、时间序列和可信学习等12个主要方向，包含140个来自真实代码库的研究任务。
这样的覆盖范围决定了它并非围绕某一种模型能力打造的专门题库。语言模型任务会考察训练目标、优化器和路由机制能否得到改进；视觉生成任务会涉及采样与生成过程；强化学习与机器人任务需要方法在不同环境中保持收益；系统方向则将算法放回真实的吞吐、资源和执行约束中；理论、因果、时间序列与AI for Science则引入了完全不同的归纳偏置与验证方式。具体任务从KV缓存压缩，延伸到时空交通预测、黑洞图像重建、抗体与抗原结合、机器人世界模型以及训练量化，它们来自不同的研究社区，使用完全不同的指标。这种广度本身就是这项工作的重要部分：它将“人工智能还能在哪些问题上推动机器学习研究”从少数热门案例扩展为一张跨领域的研究地图。
换言之，MLS-Bench并非寻找某个特别适合智能体的领域，以此宣称人工智能已经具备研究能力。它将当前机器学习研究中的一批重要问题纳入同一套可执行的评测体系，希望观察一种能力能否跨越领域边界：模型是否能够识别现有方法的实质局限，并提出在多种条件下依然成立的改进方案。每道任务都不是复述论文或复现已有结果，模型需要围绕明确的问题，设计新的优化器、训练目标、注意力变体、采样策略或路由规则，并提交真正可运行的代码。
每个任务至少包含3个检验迁移能力的测试环境，以及至少3个强人类基线，其中包括该领域公认的最优方法。所有基线都由研究团队在同一套代码与评测流程中重新实现和校准。这里的“强基线”并非论文中摘抄的一行数字：研究团队需要将至少三种具有代表性的人类方法重新接入任务，确认它们能够在统一代码库中恢复应有的性能。只有这样，当模型最终超过或落后于基线时，性能差异才不会来自不同的训练代码、数据版本或实现质量。
这个过程同时校准了任务的边界。如果最强的人类方法无法在允许修改的范围内表达，那么任务的限制就过于严格；如果模型可以随意修改数据、训练预算或评分流程，那么限制又过于宽松。每个任务都需要在这两者之间找到可验证的边界：既要容纳真正的方法创新，也要排除与研究问题无关的取巧空间。
为了确保评测的是目标研究问题，团队冻结了数据管线、评测器和共享训练协议，仅开放需要研究的组件。如果任务涉及模型结构，系统还会检查参数规模，防止模型通过增加容量来换取更高分数。仅在可见环境中提升分数、更换到其他数据或规模便失效的方案，不会被视为真正的进步。不同的任务会通过不同的方式检验这种迁移能力：有的更换数据集，有的更换模型尺度，有的更换环境或训练条件。模型不能仅针对眼前的反馈编写特例，也不能依靠记住某个公开测试集的规律来获得分数。一个候选方法必须在至少三个条件下持续带来收益，才有资格被称为方法层面的进步。
研究团队还进行了一项直接的防作弊消融实验：移除模型规模检查。结果显示，被测模型会通过增加参数量来获取更高分数，部分结果甚至能够轻易超过强人类基线。重新开启检查后，这条捷径便消失了。这个实验说明，如果不锁住模型容量等变量，一张看似亮眼的自动研究成绩表，很可能只是测到了模型发现了一个更大的网络。这套严格的控制机制至关重要，它让最终结果能够回答一个长期以来模糊不清的问题：分数上涨，究竟是方法变得更好了，还是工程空间变大了？
更多采样有用，但跨不过方法发现的门槛
那么，增加推理预算能否解决这个问题？实验显示，增加迭代次数和测试时采样确实能够提升成绩，但主要作用是继续搜索和打磨已有的方向。在简单任务上的收益很快会饱和；当模型只能看到部分环境的反馈时，继续搜索甚至可能过度适应可见结果，反而损害在未开放环境中的表现。这对当前流行的“推理时算力能够解决一切”的观点提出了具体的边界：测试时扩展擅长在已经定义好的候选空间中增加尝试，但方法发现要求模型先创造一个值得搜索的新空间。前者可以通过更多样本提高命中率，后者则需要对问题结构形成新的判断，仅增加尝试次数并不会自动补上这一步。
研究团队随后将模型置于更接近真实预训练研究的场景中：原本可用于三次完整345M参数模型训练的算力，被改为可自由支配的实验预算。模型可以自行决定代理模型的大小、训练token数、实验顺序，以及何时进行昂贵的完整验证。但结果通常更差：有的模型积极消耗预算，最终性能反而下降；唯一取得提升的模型，反而只使用了很少的算力。这揭示了比“想不出新点子”更深层次的瓶颈：科学研究还需要判断哪些假设值得验证、哪个小实验最有价值、何时证据足够，以及何时应该停止一条错误的路线。当前的模型不仅缺乏方法创新，也缺乏建立和验证证据所需的更广泛的科学判断力。
研究团队还测试了一个看似直接的补救方向：为模型提供更多外部知识。模型可以使用网页搜索，也可以拿到基线论文的详细推导和相关理论背景。然而这些额外信息带来的整体增益依然有限，在许多情况下甚至没有明显超过普通的多轮实验。这意味着瓶颈并非仅仅是“模型没有读过这篇论文”：知道更多术语、公式和相关方法，不等于能够提出一个有洞见的假设；提出一个听起来合理的假设，也不等于能够设计出足以区分多种解释的实验。知识检索解决的是信息可得性问题，而科学判断解决的却是“下一步该相信什么、验证什么”的问题。
自进化AI：下一步不能只靠堆搜索
MLS-Bench最终提出了一个更根本的范式问题。当前的AI自动研究路线并非凭空出现：从AlphaGo、AlphaZero的博弈树搜索，到AlphaTensor将数学结构转化为可搜索对象，再到相关研究让语言模型生成代码候选，核心循环逐渐稳定为：提出大量方案、自动执行、按分数筛选，再用优胜者生成下一轮候选。这条路线之所以强大，是因为它将模型的生成能力连接到了一个明确的验证器上。只要每个候选方案都能快速、可靠地获得分数，增加采样就能系统性地扩大搜索范围。相关研究不仅解决数学构造问题，还优化了数据中心调度、芯片设计和大模型训练流程，说明这种范式并非没有现实价值。
但当验证器廉价且明确时，扩大采样规模是一条有效的路线。然而真实的科学发现中的验证往往成本高昂、存在延迟、是多阶段的，且只能观察到部分结果。模型无法无限调用一个廉价的评分器，只能提出有洞见的假设，用有限的实验获取信息，再决定哪条路线值得投入更多算力。论文将这项挑战概括为：在验证难以规模化的条件下，实现可规模化的科学发现。
传统的代码评测正在逐渐饱和，AI for Research很可能成为下一个真正拉开模型差距的前沿领域。两款主流大模型已经将MLS-Bench-Lite纳入官方发布，这只是这场长期测量的开始。真正的递归自我改进，并非让人工智能更快地搜索人类已经定义好的空间，而是让它有一天能够独立提出、验证并建立那些真正推动人工智能持续前进的方法。
