同一模型同一测试，实验室公布分数平均比独立测试者高6.4%

这个数字来自whatmodel.sh。它是一个开源AI排行榜，搭建者比对了1,629个已发布的基准测试结果。同一模型、同一测试，匹配出611个比较，覆盖180个模型、103项基准测试。

数据集以CC BY-SA 4.0许可发布，代码采用MIT许可。每个模型的来源和许可证都有记录，模型页面上附了链接。

这个差距怎么来的？评论区给了几种解释。

有评论者认为，差异可能来自微小变化：包版本、测试工具设置、随机种子。也有人觉得主要是少数异常值拉高了平均分，中位数可能接近官方数字。还有猜测说，实验室会精心布置最理想的测试环境来展示自家模型。竞争对手和独立测试者不会这么干。

更具体的说法是，实验室在熟悉的环境里跑测试：自家沙箱、原生工具、最优化设置。还可能把不是错误的结果当成错误。有人举了DeepSWE的例子。在Fable 5.1的一次运行里，代理其实正确解决了问题，只是自动评分器没想到会是这种解法。

一位评论者把这类比成苹果、英伟达发布会上的演示图。只有经过同行评审的内容可信。

也有人觉得6.4%不是最有趣的数字。差异存在，是因为实验室选择发布哪些运行结果。不是偏见，是过滤器。按这位评论者的说法，什么排行榜都解决不了这个问题。

评论区还给了更实操的建议：把固定格式的测试和测试工具敏感的测试分开。后者要公开提示词、工具版本、采样预算和运行分布，而不是扔出一个标题数字。

一位评论者说，唯一真正影响他决策的测试，是在自己的机器上用自己的提示词跑一遍模型。

还有人质疑基准测试本身：这些分数能帮你做出什么选择？

有人观察到，Claude模型可能是在主要实验室里基准测试优化最少的。发布分数和实际表现相对接近。这只是评论者个人的观察，没经过独立验证。

whatmodel.sh把全部数据都摆了出来。1,629个结果、611个比较、180个模型、103项基准测试，一项不少。但实验室选择发布哪些运行结果，是这份排行榜解决不了的问题。