AI Agent失败：先查Harness还是换模型？附IBM对照研究
AI Agent 为何会反复执行失败、多次调用工具却无法完成任务？不少团队第一反应是更换更强的大模型，但多数情况下，问题根源可能并非模型本身，而是负责执行的智能体运行层（Harness）存在缺陷。工具选错、分页漏取、上下文截断、超时未处理、未经授权的操作、结果未验证就宣布完成等问题，即使是更强的模型也无法解决。因此，需要先定位失败发生在模型推理层还是执行系统，再决定优化方向。本文结合行业研究、对照实验与模拟测试，提供排查方法与模型升级决策依据。
当AI Agent在简单问答中表现正常，但面对跨页面检索、分页API调用、数据更新、命令执行与结果验证时完成率骤降，团队需要判断：是升级模型还是优化执行系统？答案不能仅参考模型排行榜。模型负责理解、推理与决策，而执行层负责将任务转化为有状态、有权限、有错误恢复、有验收结果的实际操作。两者都会影响任务完成质量，但优化优先级取决于失败来自推理不足还是执行链断裂。
2026年11月，某研究团队在公开研究中发布了一组关键数据：同一模型在三套不同执行层下，完成同一任务集的比例出现巨大差异。以某通用模型为例，三套执行层分别完成了81.1%、46.7%与30.0%的任务。这一结果并非说明某执行层绝对最优，而是证明：模型权重不变时，执行系统的差异足以导致任务完成率大幅波动。该研究同时指出，三套配置存在差异，每项任务仅测试一次，且未覆盖所有场景，因此不能直接推导其他模型或环境的表现。
同模型切换执行层导致表现差异并非个例。某公开研究覆盖约1800次试验，在某模型的30项任务中，不同执行层的成功率分布在30%至60%之间；另一组针对其他模型的29项任务，六个执行层的成功率则在66%至72%之间。还有研究显示，执行层的改造收益更多集中在上下文受限或流程卡住的场景，并非所有情况都适用。此外，执行层与模型存在适配关系：同一执行层在不同模型上的排名可能反转，因此选择时需评估「模型×执行层×任务类型」的组合，而非单独给某一方贴等级。
执行层差异导致的结果波动
| 研究中的执行层 | 通过任务比例 | 场景完成率 | 配置特点 |
|---|---|---|---|
| 执行层A | 81.1% | 66.7% | 针对任务集优化，包含拆解与校验 |
| 执行层B | 46.7% | 26.7% | 默认配置偏个人助手场景 |
| 执行层C | 30.0% | 6.7% | 通用长任务中间件，未针对任务集优化 |
任务完成率的差异来自执行层的核心设计：当系统接入大量工具时，执行层会决定暴露给模型的工具数量、候选缩小规则、分页检查时机与写操作权限，这些都会改变模型的任务难度感知。即使是同一模型，接收到的上下文与行动空间也会因执行层不同而产生差异。此外，任务完成率高不代表安全合规，若未启用授权策略测试，无法证明执行层的权限控制有效。
如何区分执行层失效与模型能力不足
要决定优化方向，可按任务链逐步排查：
- 模型推理层：输入信息齐全、工具调用成功，但模型仍无法理解用户意图，生成错误逻辑，此时需优化模型的问题理解能力，若调整后仍失败再考虑升级模型。
- 工具与接口层：正确工具未暴露、参数描述模糊、结果截断未告知，此时换模型无法解决，需优化接口。
- 状态与恢复层：超时后执行层无法确认操作是否成功，重试导致重复操作，会话压缩丢失关键决策，此时需优化状态管理机制。
- 授权与副作用层：模型可直接调用删除、付款等高危操作，此时需通过服务端硬授权替代自然语言指令。
- 验证层：Agent宣称完成任务但未执行测试、未检查结果，此时需强化验收机制。
| 失败表现 | 先核查层 | 需补充验证 | 何时考虑换模型 |
|---|---|---|---|
| 工具未找到或选错 | 工具搜索、参数与上下文筛选 | 正确工具是否可见、参数是否可解 | 接口稳定仍持续误选 |
| 分页未完成或结果截断 | 分页状态与截断标识 | 总数、游标与末页是否核对 | 完整数据仍无法正确推理 |
| 超时后重复写入 | 幂等、重试与检查点 | 中途断开、恢复与重试测试 | 状态机安全但决策持续错误 |
| 未授权删除或付款 | 服务端策略与人工审批 | 拒绝是否阻断工具执行 | 不应仅靠换模型补救 |
| 宣称完成却未测试 | 构建、验收器与证据检查 | 日志、差异与公开状态 | 验证充分仍产出错误修改 |
| 证据齐全却无法规划 | 任务分解、提示词与推理 | 同输入重复运行、人工基线 | 推理能力可能成为瓶颈 |
五项模拟故障回放验证
某团队开展了五项无大模型参与的模拟故障回放，验证执行层的关键机制：
- 分页账单测试：极简路径仅获取第一页，控制路径补取后续页面，验证结果是否包含所有必要信息。
- 审批拦截测试：极简路径直接调用删除工具，控制路径返回需审批，验证执行边界的硬性控制。
- 超时重试测试：控制路径仅对只读请求安全重试，极简路径直接失败，验证重试的安全限制。
- 结果截断测试：极简路径将不完整结果视为成功，控制路径补取完整数据，验证截断标识的处理。
- 结果验证测试：控制路径拒绝无出处的数字，验证证据引用的重要性。
该实验的核心价值是帮助团队编写自身的验收规则，避免仅依赖模型的自然语言判断完成状态。但实验未涉及真实平台权限与长期任务，不能直接推广到生产环境。
对照实验：换模型还是改执行层
要明确优化优先级，需设计2×2对照实验：设置当前模型+旧执行层、当前模型+改进执行层、新模型+旧执行层、新模型+改进执行层四组对照，测试相同任务下的表现，计算每个已验证任务的成本。需注意避免过拟合：优化执行层时需保留未参与优化的任务，确保结果可靠。
| 实验单元 | 模型 | 执行层 | 支持的判断 |
|---|---|---|---|
| A/H0 | 现用模型 | 旧执行层 | 当前真实基线 |
| A/H1 | 现用模型 | 改进执行层 | 执行层改造增量 |
| B/H0 | 新模型 | 旧执行层 | 纯模型升级增量 |
| B/H1 | 新模型 | 改进执行层 | 组合效果与上限 |
执行层的优先改造方向
执行层的优化优先级按故障风险与收益排序：
- 授权与验收：优先检查高危操作的授权，强化测试、构建等验收条件，减少误操作与虚假完成。
- 工具接口：优化工具描述、参数定义，提供结构化错误信息，减少模型选错工具的概率。
- 上下文管理：优化长任务的状态保存，减少不必要的Token消耗，避免压缩上下文丢失关键信息。
- 失败恢复：优化重试、Checkpoint机制，确保操作安全，避免副作用扩散。
可优先升级模型的场景
以下场景可优先考虑升级模型：
- 模型无法理解复杂算法、业务规则冲突或时序问题，人工验证后确认推理能力不足。
- 多语言资料检索时，模型总是错误总结限定条件，生成矛盾答案，且检索召回稳定的情况下。
- 代码Agent能返回完整修改，但多步修改中持续引入回归，且同一执行层下不同模型对比后确认当前模型不足。
执行层的新方向与风险
执行层的新方向包括递归优化与轻量决策模型嵌入，但需注意：递归优化不能过拟合现有任务，轻量决策模型需与安全约束结合，避免高风险操作。未来的Agent竞争可能不再依赖最大模型，而是依赖「任务适配模型+证据约束执行层+可回滚流程」的组合。
结论
决策的核心逻辑是：若失败来自分页、截断、授权等执行层问题，先优化执行层；若执行层稳定但推理持续失败，优先升级模型；若两者都有问题，开展2×2对照实验，避免将收益归因于单一变量。需注意，现有研究的结果基于特定场景，团队需结合自身任务、失败代价与成本，才能做出最优决策。
