新基准：更聪明的模型写代码更多，换个工具能差两成
现有基准没算这笔账
现有 AI 编程基准看解决率，也看 token 输出和成本。它们不惩罚多余代码，也不惩罚过度工程化。多出来的代码，长期会积累成技术债。
Parsimony 是一个开源的代码复杂度基准。创建者自己做的。它不数行数，也不看注释和测试。它统计其他基准发布的补丁里的语法单元：语句、调用、名称。每个模型或工具，都跟人类对同一问题的修复比，看看多写了多少。
模型更聪明，代码反而略多
结果有点反直觉：更聪明的模型写出的代码略多。在 SWE-bench Verified 上，中位模型添加的代码量是人工修复的 1.9 倍。这组数字针对较旧的模型。
换到 DeepSWE，中位模型添加的代码量约为人工修复的 1 倍。两个基准给出的倍数，差了一截。
代码生成得多，后续清理和简化的工作量就跟着涨。更聪明，不自动等于更简洁。
同一个模型，换工具就换结果
工具层面也能看到变化。同样的两个开放权重模型，只换运行工具。用 Codex，代码添加量是 0.80 倍。换 mini-SWE-agent 或 OpenClaw，变成 0.99 倍。这组工具数据来自 Joel Niklaus 的 Harness Leaderboard。
底层模型不变，工具一换，结果就变了。
数据还在补
Parsimony 的网站和 GitHub 已经公开。网站是 parsimony.lasu.dev。项目仓库在 github.com/La5u/Parsimony。作者正在找较新模型的公开补丁，也在找关于自运行模型的想法或贡献者。
一些较新的模型在 Codex 和 Claude Code 里自运行。它们在 DeepSWE 中显示为淡色，标记为未经验证。
关键事实
- 现有基准测试只衡量解决率和token输出/成本，不惩罚多余代码或过度工程化。
- 作者创建了一个开源基准测试Parsimony，用于衡量代码复杂度。
- Parsimony统计其他基准测试发布的补丁中的语法单元（语句、调用、名称），不统计行数、注释和测试。
- 每个模型或工具与人类对相同问题的修复进行比较。
- 更聪明的模型反而写出略多的代码。
- 在SWE-bench Verified上，中位模型添加的代码量是人工修复的1.9倍（针对较旧模型）。
- 在DeepSWE上，中位模型添加的代码量约为人工修复的1倍。
- 使用相同的两个开放权重模型，仅更换工具（harness）就能将代码添加量从0.80倍（Codex）变为0.99倍（mini-SWE-agent, OpenClaw）。