在Databricks，我们构建软件的方式正在快速变化，因为我们正在积极采用AI来进行工程。在过去的一年中，用于代码创作的模型和工具的生态系统迅速扩展，为开发人员提供了前所未有的选择。随着选择的增加，理解哪些编码代理在实际编码任务中提供最佳性能，以及如何理解任务性能随着价格的变化变得越来越重要。本文分享了我们在Databricks建立的内部编码基准的结果和方法，该基准评估了我们工程师在Databricks代码库上执行的实际编码任务的工具。这些任务涉及数百万行代码，涵盖了许多流行的编程语言（Python、Go、TypeScript、Scala等），并且对于任务和解决方案进行了仔细审查以确保准确性。这不是全面的，但这个练习揭示了已经使我们的工程团队在使用编码代理方面变得更加高效的见解。下面，您可以看到模型和工具在整体基准测试中的得分：图1：我们基准上的成本与性能。我们分析的主要结论是：编码任务的帕累托前沿（即在给定成本下的最佳质量）包括OpenAI、Anthropic和开源模型。这意味着今天，只有混合工具才能提供前沿性能。开源模型，特别是GLM 5.2，现在能够处理甚至是最高水平的任务难度。模型的令牌价格对于端到端任务的实际成本是一个很差的指标。更大的模型可以更有效地使用令牌，并且整体成本更低。模型所用的工具显著影响成本和质量。在许多情况下，简单的工具，如Pi，在我们的工作负载上表现最佳。让我们深入分析每一个模型。模型大致分为“能力等级”。特定结果相差几分，在现实任务中往往能够平衡。我们更关注帮助我们推测不同任务使用哪个模型的主题模式。实际上，结果显示模型和工具明确聚类成3个能力等级。图2：我们的总体结果中出现了三个不同的能力等级，各组中有效模型的细微差别。在性能的高端，我们看到最智能的模型在解决各种问题时非常有效，但它们的成本也非常高。中等和低智能的模型在常见任务上仍然非常有效，在许多情况下，它们的成本也显著更低。日常中，工程师会做很多复杂性差异较大的不同事情：诸如更改标志或更新配置等常见操作任务并不需要极其智能的模型，但更深层的设计探索则需要。然而，在过去，我们的默认模型总是选用最贵的。基于这一分析，我们确定应该更多考虑Haiku和GPT 5.4 Mini类模型。开源模型在编码中已然存在。关于GLM 5.2有很多兴奋的讨论，我们的结果显示GLM可以成为许多开发人员的日常驱动模型。它在能力的顶级等级中，质量上与Opus 4.8统计上持平，但每任务成本为$1.28，而Opus为$1.94。GLM的质量得分与我们从内部开发人员那里收到的针对每天开发的GLM的定性反馈一致。由于其在日常编码任务中的出色表现，我们正专注于为GLM提供最佳性能的支持，证据表明是时候开始将这些模型作为编码的日常驱动工具。每任务价格与每令牌价格。开发人员通常会通过观察令牌成本来判断完成编码任务的模型需要多昂贵。然而，我们发现，由于模型之间推理效率的差异，令牌成本往往是总体任务成本的很差指标。这强调了任务级别基准测试的必要性，因为任务的形状和复杂性在不同上下文中可能不同。作为一个例子，Sonnet 5的每令牌成本比Opus 4.8低约1.7倍，但在我们的任务中，我们发现Sonnet的每任务成本为$2.09，而Opus为$1.94，同时任务完成率低了六分（81%对87%）。这主要是因为Sonnet 5花了更长时间并读取更多内容，消耗了1.9倍的令牌。工具对效率有重大影响。我们将同一模型在两个不同工具（Claude Code/Codex与Pi）下，用相同的思考效率运行，观察到每个任务的成本差异显著（在某些情况下超过2倍），而质量保持不变。主要差异在于每次回合每个工具提供给模型的上下文数量。Pi每次发送的上下文大约少了3倍。它更好地管理上下文，保持了更紧凑的工作集，并在更少的运行中完成了任务。这里的教训并不是一个工具总是更便宜，或者本地模型更有效，而是在于上下文的管理和任务完成次数。