CLASHarness多智能体冲突基准发布 15大模型端到端通过率不足30%
当前，AI智能体已被广泛组队应用于代码编写、云运维、财务对账、企业审批等真实工作流程中。不过，现有的多智能体交互基准测试几乎都默认了一个理想前提：环境信息始终保持一致，所有协作的智能体完全可靠。但真实场景远非如此——在多智能体协作过程中，子智能体常会因读取过期缓存而汇报错误状态，或是在文件锁、权限分配上与主智能体发生冲突。
例如，子智能体可能发送“线上服务一切正常，请立即切换流量”的消息，但实时监控截图却显示服务正处于疯狂报错状态。此时，主智能体若盲目相信队友的文字汇报，就可能引发线上事故；它必须主动打开监控截图核实真实状态，并手动回滚配置、释放共享锁。
多个国际科研团队联合发布了CLASHarness，首次针对15款主流大模型在多智能体冲突场景下的真实表现展开了全面测评。该基准覆盖20个真实领域、600个多轮可执行冲突任务、7970张4K视觉证据图片及3284项必测检查点。
构建这类包含代码库、终端日志、多智能体聊天记录、高清UI截图的冲突测试集，存在两大难点：纯人工编写无法实现大规模扩展；若直接让大模型一次性生成，则极易出现前后逻辑矛盾、题面泄露、甚至生成无法通过标准答案验证的“无效题”。为此，CLASHarness设计了一套“三层八阶段”自动化生成与验证流程，从根源上保证100%的任务可解性。
这套流程主要包含三个核心部分：第一，分步规划+局部自动纠错——先规划全局大纲与智能体角色权限，再按每3-4轮滚动生成具体任务，避免长文本上下文跑偏；每轮生成细分8个小步骤，一旦出现路径或格式问题，直接用代码自动修复（无需调用模型），出现逻辑冲突则仅重试出错的小步，平均仅需95次API调用即可合成完整的10轮任务包。第二，杜绝文本“走捷径”，关键证据仅藏在4K图片中——为防止智能体仅依赖文本搜索而非视觉查证，CLASHarness会预先确定解决冲突的关键真值（如真实账单金额、权限矩阵状态），再渲染出3840×2160分辨率的真实UI截图，并用自动扫描器清空所有文本文件中的答案线索，强制智能体必须通过图片获取证据。第三，先在沙盒中跑通标准答案，再生成评分器——所有任务的评分标准（34.9%为精确代码检查，65.1%为语义三票多数决检查）均直接从真实沙盒运行的参考轨迹中提取生成，同时内置23个模块化冲突插件，开发者可按需组合生成新的冲突测试场景。
研究团队在600个冲突任务上测评了15款主流模型，累计完成9000+条真实沙盒轨迹测试，核心发现如下：
发现一：模型单项步骤得分可达60%左右，但端到端任务通过率无一突破30%。在标准20步限制下，Claude Opus5和GPT-5.6 Sol表现最佳，通过率分别为25.2%和24.5%；放宽步数限制后，GPT-6 Astra以28.7%的通过率位居第一。开源阵营中，Kimi K3（21.8%，总榜第5）和DeepSeek V4 Pro（19.8%）表现亮眼，追平甚至反超多款闭源商用模型。顶尖模型的单项步骤得分可达55%-67%，但端到端通过率低，是因为解决真实冲突需经历“识破队友误导→核对图片真值→修改系统配置→完成收尾”的完整链条，任一环节缺失都会导致任务失败。
发现二：弱模型易盲信队友文字汇报，强模型则会主动通过图片查证。当子智能体的文字汇报与真实环境冲突时，较弱的模型易轻信错误信息，而较强的模型会主动调用工具查看监控截图或账单图片核实真值，在视觉定位和证据引用上领先弱模型31-65个百分点。若关闭图片输入，所有模型的通过率都会暴跌87%-90%，即使是无需强制看图的任务，不看图的模型通过率也仅为原来的十分之一。
发现三：“发现矛盾”容易，“修复并完成收尾”困难。研究团队对比了同一批冲突场景下的两种任务要求：仅要求调查汇报时，模型平均通过率达28.1%；要求手动修改系统状态时，通过率降至11.0%，净降18.2个百分点；若需完成完整的多智能体协作流程，通过率仅为4.4%。最容易失败的是收尾环节，即便是最强的GPT-6 Astra和Claude Opus5，也有58%-72%的收尾动作失败，常出现忘记释放共享锁、关闭工单或通知下游智能体等问题。
发现四：思考Token过多易导致死循环，放宽步数可解锁深度探索。在数学和代码题中，增加思考Token通常能提升模型表现，但在多智能体交互场景中则相反：在20步限制下，模型内部思考Token比例越高，成功率越低（相关性为-0.70），例如Gemini 3.5 Flash将思考强度从低调到高后，通过率从13.5%暴跌至3.0%，单题解决成本飙升至39.54美元，是GPT-5.6 Luna的55倍，原因是89.2%的任务耗光20步额度仍未完成正事。反之，对于擅长多步探索的模型，20步上限会限制其发挥，将步数放宽至40步和60步时，Gemini 3.8 Flash的通过率从12.8%升至29.2%和30.7%，反超所有20步基准模型，且平均每道题成本下降21%，降至3.50美元。
除作为评测基准外，CLASHarness更是一套可扩展的多智能体训练数据合成引擎。借助框架内置的20个领域种子和23个冲突插件，研究者可低成本批量合成100%可解的多模态冲突轨迹与可验证奖励信号，用于训练更可靠、不盲从、懂协作的下一代多智能体系统。目前，CLASHarness的生成代码、600个评测任务及交互式轨迹查看器已在开源平台公开。
