SERA让递归Agent自评训练 性能较RAO大幅提升

本文跟踪一项关于递归智能体的前沿研究，该研究提出了一套全新的训练框架，解决了子任务无标准答案时的奖励分配与评估优化核心难题。实验验证显示，该框架在两个合成任务基准上的性能较现有方法提升了5.38和13.14个百分点。

递归智能体的工作模式可抽象为树状结构：根节点承接原始任务，可自行处理或委派子任务，子任务运行同一策略并可继续向下委派。当前主流做法是为每个节点单独调用评估器或语言模型评委，但存在三大明显缺陷：评估信号过于粗糙，无法区分执行过程中“干净利落完成”与“勉强及格”的差异；成本高昂，树中每个节点都需单独调用外部评估；仅关注子任务是否完成，未判断该子任务是否应当被创建。

针对这些结构性问题，研究提出的框架将递归智能体的能力拆分为三个共享权重的独立模块：任务分解、任务执行与任务评估，每个模块需配备专属训练信号。这一拆分成为整个研究的核心判断框架，后续所有设计均围绕此展开。

在方法层面，该框架设计了三大关键训练机制：首先，父智能体在委派子任务前生成带权重的评分细则，且细则在子任务执行前全程冻结，避免评估标准迁就后续打分结果；其次，利用克隆环境状态生成反事实样本，通过排序损失训练细则，要求细则将核验成功的样本排在失败样本之前，并保持固定间隔；最后，按子树的叶节点覆盖率计算委派奖励，衡量该委派对最终任务完成的实际贡献。

训练过程采用三阶段交替循环模式，按执行、分解、细则的比例分配训练步数，避免不同目标的信号相互干扰。实验基于4B规模的模型，在合成任务的单一检查点上，验证了该框架的有效性：一个是带确定性程序核验器的合成制作环境，另一个是多智能体共享状态的协作环境。

实验结果显示，该框架在协作环境中的平均成功率达到65.07%，较现有方法提升13.14个百分点；在合成制作环境中成功率为74.31%，提升5.38个百分点。通过消融实验进一步发现，训练后的细则是性能提升的核心因素，仅使用未训练的细则无法带来显著改进，且分解奖励的作用依赖于任务结构，在子任务相互依赖的场景中效果更明显。

此外，研究还测试了推理阶段利用细则选择候选分支的效果，发现该框架训练后的策略可通过选择分支进一步提升成功率，且效果优于未训练的前沿外部模型。不过，该研究也存在明确局限：仅在特定模型和合成基准上验证，未推广到更大模型和真实任务；依赖可克隆的模拟环境做反事实采样，难以直接应用于真实代码或检索场景。

对于训练多智能体或递归智能体的从业者，可参考的方向是明确系统中的各能力模块，为每个模块分配独立的训练信号，尤其是评估模块需锚定可核验的成败对比，而非依赖任务奖励。同时，需关注外部监督的使用效率，将其集中用于评估模块的训练，而非每个节点的单独评估。