文章摘要
近期，上海人工智能实验室推出用于评估AI自主科研能力的评测基准RCBench。它与真实科研工作流对齐，有创新评分体系。测试显示，当前AI科研能力与人类差距明显，Claude领先但分数距人类基准线远，国产模型逼近。AI瓶颈在科学判断，RCBench可助评估能力改进。

近期，行业内推出了一款专门用于评估AI自主科研能力的评测基准ResearchClawBench（简称RCBench），填补了相关领域系统化评估的空白。

现有AI科研能力评测的局限

过去一年，"AI Scientist"成为科技行业的热门方向，多款相关系统相继问世，包括Claude Code、Codex CLI、OpenClaw等。此前社区已经积累了不少用于衡量AI科学能力的评测工作，比如科学知识推理类的MMMU、GPQA和HLE，针对论文复现的PaperBench，以及用于算法设计的MLE-Bench。但这些基准大多存在局限性，很难全面评估AI在广泛科学场景下的自主发现能力。

RCBench的设计理念与任务覆盖

这款新评测基准由上海人工智能实验室研发，其核心设计思路是与真实的科学家工作流对齐。与直接给定目标论文进行复现的PaperBench不同，RCBench为AI科研智能体提供真实数据、相关研究资料和任务指令，让其像真正的科研人员一样完成从实验设计到报告撰写的全流程。

RCBench包含了40项来自真实顶刊论文的科研任务，覆盖10个高价值科学场景，包括天文学、化学、地球科学、能源科学、信息科学、生命科学、材料科学、数学、神经科学和物理学。具体任务涵盖贝叶斯黑洞约束、分子性质预测、冰川质量评估、电池参数辨识、多模态生成、仿生材料设计等多个细分领域。

创新的评分体系：参考锚定发现分数

RCBench没有将自主科研能力简单定义为复现目标论文，而是提出了RADS（Reference-Anchored Discovery Score，参考锚定发现分数）评分体系。在该体系中，目标论文并非封闭的标准答案，而是作为人类科研的参考锚点，提供同一科学目标下的参考证据链、分析水平和研究结果。

评测过程中，AI智能体的输出会与参考研究进行对比打分，判断其证据、实验、分析和结论是弱于、接近还是超过人类参考水平。其中50分对应接近参考研究的核心结论，50分以上则表示AI展现出较好的科学发现潜力，比如产生更详细充足的分析与证据，或在特定目标指标上超越现有工作。

实测结果：AI科研能力仍有明显差距

研发团队对7个AI智能体和20余家主流旗舰大模型进行了系统测试。测试结果显示，当前AI智能体产出的科研成果与人类科研工作相比，在核心结论、证据链条、指标优化等多个维度都存在明显差距。

值得关注的几个发现包括：

分数天花板极低：表现最佳的Claude Code仅获得21.5分，距离50分的人类基准线仍有较大差距。即使取所有智能体在每道题的最高分组成"前沿水平"，平均得分也仅为24.6分。

没有全能选手：Claude Code仅在40道题中的14题拿到最高分，不同系统在不同学科各有所长。Claude系列模型在天文和物理领域表现突出，GLM系列在化学领域领先，Kimi在材料科学方向表现不错。但不同智能体在任务难度上高度一致，7个智能体的任务分数相关系数中位数达到0.79，说明难题对所有系统都具有挑战性。

成本与效果不成正比：模型调用成本与得分的相关系数仅为0.72，MiMo V2.5展现出最佳性价比，以较低的成本获得了接近前沿水平的分数。

更多维度的深度分析

研究团队还进行了多项额外测试：让5个主流大模型在同一道题上进行5次独立尝试，结果显示重试平均能提升6-7分，但最强的Claude Opus 4.8最终也仅达到29.76分，离50分的人类基准线仍差20分。这说明重试只能挖掘模型的单次最优表现，无法创造原本不存在的能力。

在学科表现方面，Claude Opus 4.8在10个学科中的8个取得最高分，包括天文、物理、信息科学、材料科学等领域。化学是所有AI模型的共同短板，所有模型的分数都落在11-23分区间，即使表现最佳的Claude也仅获得23.11分，不及天文学科中得分最低的模型。

研究团队还发现了一个有趣的现象：AI虽然能写出格式规范、行文流畅的科研报告，在"专业性"维度能拿到70分以上的分数，但核心科学内容的得分仅在12-21分之间。也就是说，当前AI很会"写论文"，但并不真正"做科研"，外观成熟并不代表研究本身具备科学价值。

AI科研失败的核心原因

研发团队对所有失败案例进行了系统归因，按严重程度排序，最主要的错误类型包括：

实验方案偏差（89.5%）：包括方法选择错误、基线设置不当、验证流程有误等，这是最常见的失败原因。

证据不匹配（78.5%）：关键图表和数据与正确答案不符。

科学核心缺失（68.0%）：未能识别出核心发现和研究机制。

目标偏移（32.0%）：研究方向与原始任务相关但不等价。

报告可靠性问题（10.9%）和执行失败（1.5%）：占比相对较低。

整体来看，仅有1.5%的案例完全无法运行，这说明AI并非"不会动手"，而是在实验设计阶段就容易出现方向偏差。当前AI科研智能体的瓶颈不在于执行能力，而在于科学判断力，需要更强的科学判断与实验设计能力，而非更多工具调用。

总结与展望

当最强AI的科研得分还不到满分的四分之一时，我们可以清晰地看到，距离真正实现"AI Scientist"仍有较长的路要走。不过测试结果也显示出积极的一面：国产大模型GLM等在自动科研方向的能力已经逼近最强模型Claude，仅在个别科研项目上就展现出不错的科研潜力。

ResearchClawBench为AI自主科研能力评估提供了清晰的标尺，将持续帮助行业观察模型和科研智能体的能力改进。

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/

AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。

以上内容不代表本平台立场，仅供读者参考