ReTerm：让终端智能体从自身错误递归自我改进

当终端智能体遇到代码错误、命令报错或环境配置问题时，往往会陷入反复无效操作的循环——比如重复安装已有的依赖，沿着错误假设修改代码，最终耗尽资源导致任务失败。这类失败是否能反过来成为智能体自我提升的训练素材？近期，来自复旦大学、香港中文大学MMLab与上海交通大学的研究团队提出了名为ReTerm的框架，探索出一条由智能体自身错误驱动的递归自我改进路径。

该框架的关键在于构建了一个闭环训练流程，让智能体在执行任务时遇到问题后，自主尝试恢复操作，再根据恢复结果更新自身参数。随着模型能力的变化，它产生的新错误会成为下一轮学习的起点，形成持续迭代的自我改进循环。

终端环境的纠错远比重构一道推理题复杂。错误操作可能已经修改了文件、安装了依赖或启动了进程，后续动作需要面对被之前操作改变的环境，智能体需要准确理解已发生的状况并定位问题根源。比如在相关案例中，基础模型执行特定导入命令时明明已安装对应软件包仍报错，标准训练的模型反复尝试导入、卸载和重装，始终无法跳出错误方向；而ReTerm训练的模型通过检查安装路径，发现实际模块位于其他目录，改用正确的导入方式成功解决问题。

为了让恢复行为更稳定，研究团队构建了ReTerm-10K数据集，将训练起点放在智能体自身执行任务后留下的失败现场——而非从干净环境学习或人工注入错误。具体来说，团队先收集基础模型执行失败的任务，再由更强的模型示范如何检查问题、修复错误并完成任务，经过验证和筛选得到约一万条恢复轨迹，用于模型的冷启动训练。模型先从示范中掌握恢复逻辑，再通过在线强化学习探索解决新问题的方法。

ReTerm-GRPO的核心思路是让智能体在任务失败后，保留当时的环境和操作记录，从同一失败现场出发，独立尝试多种恢复方案，最终由任务验证器判断哪些尝试成功完成了任务。这些恢复尝试的成败会转化为强化学习信号，用于更新模型参数，让智能体学会更高效地诊断问题、修复错误。自我改进就发生在这个循环中：模型不断遇到自身产生的问题，自主尝试恢复，再从结果中学习，随着能力提升，新产生的错误会持续推动恢复能力与任务求解能力的共同发展。

在覆盖终端操作与软件工程的三个核心评测任务中，ReTerm-9B模型相比基础模型均取得超过13个百分点的提升。其中，Terminal-Bench 2.0的完成率从20.2%提升至34.8%，提升14.6个百分点；SWE-bench Verified从45.2%提升至58.4%，提升13.2个百分点；OpenThoughts-TBLite从44.2%提升至60.6%，提升16.4个百分点。在三套不同的运行框架下，ReTerm在Terminal-Bench 2.0任务上均优于基础模型，保留了6.7至12.4个百分点的增益，说明该方法的收益可迁移到不同交互设置中。此外，恢复训练的收益还延伸到了数学推理与表格操作领域：AIME 2025的相关指标从73.3%提升至93.3%，SpreadsheetBench Verified从37.8%提升至48.8%，展现出跨任务领域的泛化潜力。

为了验证显式训练恢复能力的作用，研究团队开展了消融实验。在Terminal-Bench 2.0上，仅使用恢复示范的训练将表现从20.2%提升至25.8%，标准强化学习达到28.0%，而ReTerm的训练则达到34.8%——在常规强化学习基础上，专门优化恢复行为又带来了6.8个百分点的增益。同时，ReTerm在规划、工具使用、代码实现、验证和资源管理五类错误上的恢复率均高于基础模型与标准方法，表明恢复训练的收益体现在多种执行场景中。不过，除工具使用外，其余四类错误的恢复率仍未超过32%，为后续改进留下了空间。

ReTerm为智能体的自我改进提供了一条可落地的路径——它让模型将自身产生的失败从一次执行的终点，转化为后续学习的核心材料。这项工作为失败驱动的递归自我改进提供了可实验、可分析的切入点，随着策略的演进，模型能持续面对自身产生的新问题，让恢复能力与任务求解能力在同一训练过程中共同发展。目前，该研究团队已公开相关代码、模型与数据，供行业参考与交流。