Jason Wei发布2026年前沿实验室基准采用频率分布统计(12家)

我做了一个「基准测试的基准测试」：统计 2026 年前沿实验室在发布模型时都报告了哪些基准测试，按出现频次做了一张分布图。

一些观察：

- HLE、SWE-Bench Pro、DeepSWE 和 Terminal-Bench 被所有实验室采用
- Scale AI 参与了其中两个（SWE-Bench Pro、与 CAIS 合作的 HLE），另外还有 MCP-Atlas（排名第 9 的基准测试）
- 在前沿实验室中，OpenAI 是最高产的基准测试生产者（SWE-bench Verified、BrowseComp、GDPval）；大家似乎并不介意在竞争对手做的基准测试上做评估
- Anthropic 只有一个上榜（BioMysteryBench），而且基本没人用 🤔
- 学术界方面，表现突出的有普林斯顿（SWE-bench、CharXiv）、斯坦福（Terminal-Bench）、伯克利（CyberGym、Agents' Last Exam）和纽约大学（GPQA）
- DeepSWE 的采用率惊人，从 6 月首次出现到被全部 12 家实验室报告
- 实验室在一年内就把 Terminal-Bench 从 2.0 迭代到了 4.0，一共换了四个版本