文章摘要
当前各类智能体执行任务时,仅以任务是否完成作为判断依据的做法,已暴露出诸多局限。过去的智能体自我优化机制,往往只聚焦于提升任务通过率,却忽略了运行成本的控制——这种优化方式虽然能让任务准确率有所上升,

当前各类智能体执行任务时,仅以任务是否完成作为判断依据的做法,已暴露出诸多局限。过去的智能体自我优化机制,往往只聚焦于提升任务通过率,却忽略了运行成本的控制——这种优化方式虽然能让任务准确率有所上升,但单题的运行成本却从1.88美元攀升至2.68美元,给实际部署带来了延迟与成本方面的双重压力,显然无法满足落地场景的真实需求。

针对这一痛点,清华团队推出的HarnessPro技术,对智能体的评价体系进行了核心调整。它不再仅以任务的对错作为唯一评判维度,而是将运行成本纳入核心考量范围,最终为用户提供了省钱、均衡、求稳三种不同的优化方案,适配不同场景的多元需求。

在评估机制上,HarnessPro也做出了关键升级。以往采用大模型作为自我评判的方式,容易出现标准宽松、结果失真的问题,而新方案则采用自动生成的固定测试用例进行评估,有效避免了低质量代码蒙混过关的情况。经过三轮迭代优化后,智能体的最高通过率得到显著提升,同时平均运行成本下降了26.1%,真正实现了在同等通过率下降低成本的目标,为智能体的落地应用提供了更具可行性的路径。

以上内容不代表本平台立场,仅供读者参考