Databricks AI编码代理测试：开源模型效率与成本双优
随着企业AI应用规模持续扩大，编码类AI工具的使用成本与效率成为了技术团队的核心痛点。Databricks的联合创始人兼CEO Ali Ghodsi近期牵头完成了一项针对企业级编码AI代理的大规模实测，为行业提供了极具参考价值的选型依据。
这家拥有1.1万名员工的企业，正面临AI相关投入持续走高的压力，如何选择适配的大模型与执行框架，在保证开发效果的同时控制成本，成为了团队亟待解决的问题。为此，Databricks基于自身真实的业务代码库开展了全面测试，测试覆盖三家主流云厂商，依托3000余名工程师的实际工作产出构建测试样本，涉及多种编程语言与开发任务类型。
测试结果显示，即便使用完全相同的大模型，更换不同的执行框架（即Harness），单次任务的成本差距最高可达近两倍。同时团队发现，开源模型GLM 5.2的实际表现与顶级模型Opus 4.8不相上下。基于这些测试结论，Databricks在模型与框架之上搭建了智能调度系统Omnigent，能够根据具体任务灵活切换最优的模型与框架组合。
本次测试的具体方法与核心结论，由Databricks的工程负责人Vinay Gaba、Ankit Mathur、Rishabh Singh、Patrick Wendell以及首席技术官Matei Zaharia联合对外公开。
测试的核心结论
本次测试的核心发现可以总结为四点：
首先，在编码任务的帕累托最优区间（即特定成本下表现最佳的方案）中，同时存在闭源厂商的模型以及多款开源模型，这意味着目前没有任何一家供应商能够垄断全场景的AI编码服务。
其次，开源模型的表现超出预期，尤其是GLM 5.2已经能够轻松应对高难度的编码开发任务。
第三，单Token的单价并不能直接等同于实际的任务成本，大模型的推理效率差异会显著影响整体支出，更高的推理效率反而能帮企业节省总费用。
第四，调用模型的执行框架对最终成本和任务质量有着决定性影响，部分轻量化框架在实际场景中表现得更加高效稳定。
模型分类呈现能力梯队
从测试数据来看，不同的大模型和执行框架可以清晰地划分为三个能力梯队：处于顶端的高智能模型能够高效解决各类复杂难题，但使用成本高昂；而中低梯队的模型在处理常规开发任务时同样表现出色，且价格要低得多。
在日常开发中，工程师面对的任务复杂度各不相同，比如修改配置项或是调整简单开关这类任务，并不需要调用顶级智能模型。因此Databricks团队决定将更多日常开发工作分流给轻量化模型，避免盲目使用高价的顶级模型造成不必要的成本浪费。
开源模型迎来突破性进展
本次测试也印证了开源编码AI模型的快速崛起。GLM 5.2完全可以胜任企业日常开发工作，它跻身顶级能力梯队，在任务完成质量上与Opus 4.8基本持平，但单次任务成本仅为1.28美元，远低于Opus 4.8的1.94美元。这一结果也与内部开发者的实际反馈一致，凭借在日常编码场景中的优秀表现，团队已经开始将这类开源模型部署为日常开发的主力工具。
单Token价格不等于实际任务成本
很多开发者习惯通过对比单Token单价来估算AI工具的使用成本，但本次测试证明这种估算方式并不准确。不同模型的推理效率差异巨大，因此针对具体任务的基准测试才是判断成本效益的核心依据。
比如Sonnet 5的单Token价格比Opus 4.8便宜约1.7倍，但在实际任务中，Sonnet 5的单次任务成本达到2.09美元，反而比Opus 4.8的1.94美元更高，同时任务完成率还比后者低了6个百分点。出现这种情况的原因在于，Sonnet 5为了完成任务需要进行更多轮次的尝试，读取了更多内容，最终多消耗了1.9倍的Token。
执行框架对效率影响巨大
即便使用完全相同的大模型，不同的执行框架也会带来显著的成本差异。比如对比多款主流框架，在使用同一模型的情况下，任务成本的差距甚至能达到两倍以上，但最终的任务完成质量却保持一致。
这种差异主要源于不同框架在每次交互中向模型发送的上下文长度：测试发现轻量化框架每次交互的上下文输入量比其他框架少约三倍，通过更紧凑的上下文管理，这类框架能够用更少的交互轮次完成任务，从而大幅降低整体成本。这也说明，仅依靠模型选择无法决定整体的使用效率，执行框架同样扮演着关键角色。为此Databricks投入开发Omnigent系统，实现不同模型与框架的无缝切换，进一步优化成本与效果的平衡。
为何要搭建专属基准测试
市面上虽然有SWE-Bench等公开测试集，但它们无法解答企业内部的具体选型问题。一方面，公开测试集的任务很容易出现在大模型的训练数据中，导致测试结果失真；另一方面，公开测试集无法覆盖企业内部包含多种语言和工具链的复杂私有代码库。因此基于企业自身的拉取请求（PR）构建专属基准测试集，能够为AI工具选型提供更具说服力的决策依据。
专属基准测试的构建过程
团队通过Unity AI Gateway收集了所有编码交互日志，以此分析不同开发任务的复杂度分布。数据显示，低复杂度任务占比约25%，中等复杂度任务占比约60%，整体任务结构呈现典型的金字塔分布。
本次测试的数据集构建经过了多重严格筛选：
- 确保时效性，提取近期的提交记录以反映当前的开发框架与规范；
- 过滤自动生成的更改和机器人提交，保证所有样本均为人工编写的真实开发任务；
- 确保测试集能够验证代码的正确性；
- 保证改动范围可控，确保测试任务的独立性；
- 覆盖全栈各类服务与配置场景，保证任务分布的代表性。
在确定合格的PR样本后，团队通过两个步骤构建具体的测试任务：首先总结开发意图并转化为标准化提示词，在阅读PR的基础上明确开发目标，同时剔除关于具体解决方案和Bug成因的解释，避免降低任务难度；其次分离出测试文件，将测试文件单独存放并确保其余代码能够正常编译，随后通过构建系统运行所有相关测试以验证结果正确性。
在整个测试集构建过程中，尽管使用了脚本和AI辅助生成任务，但每个样本都经过了人工校准，部分场景下还需要手动重写测试用例，以提升用例的容错性和严谨性。当AI代理声明任务完成时，系统会自动保存生成的代码，合并保留的测试文件，并通过客观的测试结果判定任务完成情况，而非依赖LLM进行主观评估。为了防止AI代理利用Git历史记录作弊，团队在测试期间对Git历史进行了隔离，确保代理无法通过回溯Git找到原本的正确解答。
未来规划
用好AI编码工具的核心在于因地制宜。未来Databricks计划引入Unity AI Gateway和Omnigent的智能路由功能，能够根据任务类型自动推荐最合适的模型与框架组合，进一步实现效率与成本的最优平衡。
塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/
AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。
