文章摘要
科研的核心挑战在于将初步想法打磨成可检验的研究方案,并根据结果持续修正判断。智能体在开展研究时会留下大量过程记录,但这些记录大多未被用于自我优化。有一项技术正是针对这一问题,充分利用了这些记录,效果显

科研的核心挑战在于将初步想法打磨成可检验的研究方案,并根据结果持续修正判断。智能体在开展研究时会留下大量过程记录,但这些记录大多未被用于自我优化。有一项技术正是针对这一问题,充分利用了这些记录,效果显著。

好假设的构建逻辑

相关研究将科研假设拆解为四个核心部分,用公式表达为:H = (c, π, d, a),其中 c 是有证据支撑的论断,π 是具体的调查方案,d 是判定结果的标准,a 是可能的替代解释。

一个合格的好假设需满足两个关键要求:一是能推动认知或决策的改变;二是方案在现有数据条件下可实现,且结果能对论断形成支持、削弱或限定作用。比如针对 ICU 患者的研究,可提出假设:“肌酐下降但尿量仍低的这种异常表现,能否预测患者出院后短期内的再入院或死亡?” 方案中需提前明确结果判定标准,并列出“病重患者本就会同时出现这两种指标异常”这类替代解释,只有完成这一步,假设才具备可检验性。

研究记录的流程设计

研究过程中,多个智能体分工协作,依次完成提假设、提批评、做修改,每次修改都会生成新版本,新版本与前一版本串联,形成完整的研究树。每个版本都会附带对应的证据、评审意见和各方贡献信息,后续追溯研究过程时可通过这些记录明确关键节点,这些记录也成为后续模型学习的核心素材。

功劳分配的计算方法

当假设获得高评分后,功劳归属往往分散在不同的操作中:有人提出解释,有人补充对照实验,有人调整研究计划。仅看最终结果无法明确该强化哪些贡献,而将完整历史全部用于训练又会引入无用步骤。相关研究将功劳分配分为三步:首先通过盲评的两两比较算出每个假设的相对优劣,这个分数仅反映评审偏好,与假设本身的正确性无关;接着按记录分配功劳,协调工作获得少量份额,直接产出和有明确依据的支持工作获得大部分份额;对于无法明确归属的份额则暂时空置,同一问题的多个版本共享预算,单条轨迹的权重设有上限。

训练过程中,仅对有证据支撑的回答和工具调用计算训练损失,其余内容仅作为背景参考。在一万五千多条轨迹中,最终仅保留两千多条,受直接监督的 token 约占 2%。模型最终学到的是有证据支持的具体决策,而非完整的研究历史。

工作流程的优化方向

智能体研究中常见的问题包括:反复探索同一方向、工具调用失败、中间产物丢失、过早终止等,这些问题大多源于工作流程的缺陷。优化时可保持模型参数不变,通过回放研究记录找出反复出现的故障,针对性调整工作流程,且改动后的流程需在开发集上优于原方案。新模型和新流程会被应用到全新问题上,产生新的研究记录,进入下一轮迭代。研究留下的记录支撑了功劳归因,归因结果又驱动流程改进,形成“研究-记录-归因-改进”的闭环。

优化效果与局限

经过两轮改进后,假设质量的自动评分从 4.86 提升至 5.39,提升主要集中在假设的可证伪性、对替代解释的考虑以及数据可解析性三个方面。系统更倾向于对已有假设进行反复修订,而非频繁更换新问题。人类评审结果显示,每次修改的平均得分提升为 +0.07,对比模型则为 +0.03 和 -0.01;该系统与后续发表研究的设计匹配比例为 6.3%,而 GPT 为 2.5%,Claude 为 2.3%。

不过该系统仍存在明显局限:提升主要集中在方案设计层面,问题的重要性和新颖性有所降低;在数据贴合度、替代解释覆盖和信息丰富度上,人类评分低于其他模型;评价体系的独立性不足,自动评审出自同一模型家族,文献对应关系由模型自动判断,样本量悬殊,评价器未与专家校准;且研究仅停留在假设和调查方案阶段,未开展实际实验和实验室验证。

个人视角的思考

曾有相关人士受邀作为某领域竞赛的评委,全程参与20个项目的路演评审,对 AI 在科研中的应用深有体会。参赛项目中,多数是人类学者提出创意或假设,AI 负责探索或优化。那么 AI 能否独立提出像竞赛冠军的镜像多肽、季军的时空信息编码这类重大发现?这项技术是 AI 自主发现科研假设的重要一步,未来或许能将 AI 的“幻觉”转化为真正的科学发现。

以上内容不代表本平台立场,仅供读者参考