AutoResearch：从发现问题到修正问题的元认知闭环

当AI科研Agent能够完成文献阅读、假设提出、代码编写、实验运行的全流程后，它们又解锁了一项新能力：主动寻找最能排除错误假设的关键实验。不过最新的一项前沿研究显示，当前的自动科研系统距离真正的自主科研仍存在显著差距——它们能够完成实验执行和报告生成，却无法像人类研究者一样持续校验结论、质疑研究方法，并根据新出现的证据调整研究方向。

让AI自主完成从研究设想、文献检索、实验执行、结果分析到论文撰写的全流程，一度被认为是大模型时代最具想象力的科研方向之一，自动科研系统正推动AI从科研助手向科研主体进化。但由多家机构联合开展的这项研究发现，当前的Agent在科研过程中的判断与修正能力存在明显短板，这已经成为制约自主科研落地的核心瓶颈。

测试框架与评测设计

研究团队搭建了基于100个真实前沿科研任务的测试环境，覆盖生物、医学、化学、材料科学、物理、科学计算和地球物理等7个领域，完整覆盖了从研究规划到最终审查的全科研流程。所有测试任务分为两类：70个开放式科学发现任务，没有明确的指标可以判断Agent是否接近“正确答案”；另外30个为目标锚定优化任务，以人类顶尖水平或可计算指标作为优化目标。

本次测试共包含8组Agent-模型组合，覆盖了多款主流Agent框架。不同于多数仅关注最终结果的基准测试，该研究保留了所有Agent的完整执行轨迹，包括代码、工具调用记录、实验结果和最终报告，能够精准定位失败发生的具体阶段。

为了实现对全部800条轨迹的过程级诊断，团队还构建了经过人工校准的评测机制，不仅会读取最终研究报告，还会对代码、执行日志和原始数据等中间产物进行全面校验。在50条人工标注的测试轨迹上，该评测机制对失败模式和根因分类的一致性系数分别达到0.75和0.83，显著高于单次大模型作为评测者的表现。

失败模式与根因分析

为了系统梳理这些失败模式，研究团队提出了专属的失败分类体系。该体系将45类失败模式按照科研流程划分为六大阶段：研究想法与实验规划、文献检索与知识整合、实验执行与实现、结果分析与解释、论文写作、自我验证与审查，另外还有8类属于跨阶段的失败模式，比如错误传播、目标漂移、错误路径上的“正确结果”和重新规划失败等。

所有失败模式最终被归纳为四类根因：事实依据与忠实性、推理深度与适应能力、科研严谨性与目标对齐、工程鲁棒性。其中三类与认知相关的问题占据了绝大多数：事实依据与忠实性占比31.0%，科研严谨性与目标对齐占比33.5%，认知深度与适应能力占比27.6%。三类非工程性问题合计占到总失败的92.1%，而工程鲁棒性相关的失败仅占7.9%。

这意味着当前Agent的瓶颈已经不再是单纯的工程执行能力，而是科研过程中的判断与修正能力。研究团队发现，很多失败并非因为缺乏足够的证据，而是Agent未能将自己生成的代码、数据或运行日志中的关键信息与最终报告进行核对，经常会写下自己“原本计划开展”的研究，而非实际执行后得到的真实结果。

最典型的认知短板：发现问题却不修正

其中最常见的一类失败尤其反常：超过八成的科研轨迹中，Agent已经意识到了研究过程中的关键问题，但却没有真正完成后续的修正动作。这类失败模式出现在660/800条分析轨迹中，占比高达82.5%，是所有失败类型中出现频率最高的一种。

其典型表现为，Agent已经在自我审查环节明确指出了某个严重的研究缺陷，但最终提交的报告却并未针对该问题进行修正。对于人类研究者而言，发现基线模型不可靠通常意味着重新设计实验、更换研究方法或重新分析结果，但当前的Agent往往仅停留在“识别问题”的阶段，未能将发现的问题转化为后续的修正行动。

研究还通过四条具体的科研轨迹展示了这种认知断层的不同表现，无一例外都指向同一个核心问题：Agent已经掌握了足以改变研究路径的关键信息，但却没有让这些判断真正影响后续的研究过程。比如在一个特定数学任务中，Agent几乎拿到了完美指标，却根本没有读取训练数据，而是直接利用公开信息生成预测；另一个案例中，Agent已经找出拖累总成绩最大的子任务，却把剩余预算继续花在一个已经领先的子任务上。

核心能力缺口：元认知闭环

进一步追溯三类认知相关的失败根因，最终都会指向同一个核心能力缺口：缺少元认知闭环。在完整的科研过程中，人类研究者不仅需要提出假设、执行实验和撰写研究结果，还需要持续检查自己的研究过程，不断核对产出成果与原始证据，在结果无法支撑结论时采取修正措施，并重新评估当前的研究路径是否合理。

当前的Agent已经能够将检索、实验、分析和写作串成一条完整的科研执行链，但下一阶段自动科研需要解决的核心问题，就是让“发现问题”真正转化为“修正问题”，构建起完整的元认知闭环，让AI科研Agent真正具备自主修正和迭代的能力。