现有的基准测试衡量解决率和成本，但没有惩罚多余的代码，这使得代码库在长期内更难处理。Parsimony 衡量 AI 模型添加了多少代码。它利用基准测试已经发布的补丁，并计算编码单元：语法元素，如语句、调用、比较、名称和字面量。行数不被计算，因此塞入代码不会被奖励，而删除的代码会被扣除：净单元 = 添加的 - 删除的。比较模型图表 X 轴 Y 轴 如何阅读这个模型按照解决的任务上添加的平均净单元排名，最低的排在首位。“净单元添加（平均）”也包括失败尝试。解决来自 SWE-bench Verified；测试不重新运行。测量的是能够被测量的解决尝试数量。排行榜任务排名模型方法每个补丁应用于该任务的代码，所有更改文件的两个版本都会被解析。什么也不会运行。测试、文档和生成文件被排除。仅测量 Python。通过 SWE-bench 的发布结果得来通过/失败；测试不重新运行。限制较小并不总是更好：单元测量的是大小，而不是可读性或设计。编写更多代码的模型往往也能解决更多任务（在 26 个以上模型的板上计算出相关性 0.33-0.60）。每个模型使用相同的代理（mini-SWE-agent），但代理仍然会影响生成代码的数量。添加您自己的基准是否有来自另一个基准的代码大小数字？下载示例文件，填写结果，然后打开以获取相同的图表和表格。该文件保留在浏览器中。格式和如何分享它。打开基准 JSON 示例：检查负数 两者返回相同的结果。def has_negative(values): found = False for value in values: if value < 0: found = True return found def has_negative(values): return any(value < 0 for value in values)