基准测试是“造就机器学习的那个错误”，一位计算机科学家说还能修
Moritz Hardt，一本关于基准测试的新书的作者，认为这些用于人工智能的“标准化测试”从根本上已经损坏——但并非不可修复。
计算机科学家Moritz Hardt称基准测试为“造就机器学习的那个错误”。他研究了它们在哪里出了问题，以及为什么它们还是设法推动了进步。
引言
基准测试是AI的标尺，也是AI的统治者——‘ruler’这个词的双重含义都成立。作为测量工具，它们遵循一种极其简单的逻辑：如果你想知道一个AI模型能做什么，就设计一个标准化测试来衡量它。但AI基准测试也可以支配整个领域的行为。
1987年，美国国防高级研究计划局（DARPA）在自动语音到文本翻译上的第一个基准测试表明，最先进的AI无法胜过所谓的“笨”统计方法。那次糟糕的表现帮助迎来了AI寒冬。在接下来的25年里，AI研究的兴趣减弱，资助枯竭。
然后，2012年，另一个名为ImageNet的基准测试让钟摆摆回。一个八层神经网络在图像分类上碾压了其他算法，开启了“深度学习革命”。
如今，面向OpenAI的GPT-6 Astra等大型语言模型的新AI基准测试以钟表般的规律被创建并攻克，声称衡量从特定领域专业知识到“通用智能”的一切。但领域中的许多人——怀疑论者和支持者都一样——并没有把这个趋势视为AI潜力飙升的证据，而是将其视为基准测试本身存在致命缺陷的证据。
Moritz Hardt，一位计算机科学家，也是马克斯·普朗克智能系统研究所的主任，同意这一诊断。在ImageNet结果公布后不久，他就开始认为机器学习系统可以“不做任何智能的事情”来刷排行榜。“没有别的解释，”他说，“基准测试生态系统已经坏了。”
在他2026年的著作《The Emerging Science of Machine Learning Benchmarks》中，Hardt提出了一个挑衅性的论点：这些标尺已经坏了几十年。他写道，基准测试是“造就机器学习的那个错误”。值得注意的是，他认为，它们没有造成可复制性危机，反而仍然推动了合法的进步——在他眼中“多半纯属运气”。通过理解为什么，我们可以解释基准测试如何在大语言模型时代失去了这种偶然的可信度，以及它们可能如何重新获得它。
Quanta采访了Hardt，讨论基准测试哪里出了问题、哪里对了，以及接下来该怎么做。为清晰起见，采访经过压缩和编辑。
Hardt对基准测试的悖论之处着迷：它们既在1980年代末帮助开启了长达25年的AI寒冬，又在2010年代推动了深度学习革命。
让我们先把基本问题搞清楚：到底什么是基准测试？
配方很简单。要评估一个机器学习模型，你取数据，分成训练集和测试集。你让模型构建者在训练集上做任何他们想做的事：什么都可以，没有规则。但你只用测试集来比较和排名模型——让排行榜说，“这是目前最先进的，这是第一，这是第二。”
那么，像GPT-6 Astra或Claude Fable这样的当今大型语言模型的基准测试，可能会测试解决困难数学问题的能力，或者发现软件中的安全漏洞。
对。实际上，第一个基准测试创建于1959年。那是一组印在穿孔卡片上的数字和字母，用来测试不同扫描仪识别手写字符的能力。有人引入了训练-测试划分，并开始了排行榜。并不是有什么宏大的计划。但那正是我们现在所说的基准测试，并且大约60年来它一直是AI进步的引擎。
基准测试应该告诉我们什么？
传统上，基准测试应该像一支温度计。人们训练一个模型做某事，然后你提出某种测量流程来看模型有多好。但在实践中，基准测试更像一场体育竞赛或一个市场。基准测试定义了游戏规则，人们积极竞争，我们让最好的模型获胜。
Hardt告诫说，AI模型在基准测试上获得的分数意义不大。但模型之间的比较，或者说排名，才有意义。
它们不能兼具两者吗？问题出在哪？
任何机器学习教科书都会告诉你“保留法”——你应该把测试集锁起来，只使用一次来对模型排名。如果你忽视这一点，就会如履薄冰。你可能会得到非常误导性的结果，因为你在评估的模型在某种意义上已经知道了测试集。有趣的是，机器学习这门学科直接无视了这一警告。它拿了所有这些测试集，放到互联网上供所有人使用。把这些测试集放进模型的开发循环并不断迭代是很容易的。
这就是基准测试“坏掉”的地方吗？
如果你看一个模型在一个基准测试上的准确率数字，然后只稍加改变测试集，你会得到完全不同的准确率数字。这就是基准测试不起作用的意义所在。如果你在一个数据集上有90%的准确率，在另一个数据集上有73%，那到底是多少？我完全不知道这个模型有多好。
OpenAI、Anthropic和其他科技公司仍然宣传基准测试数字，作为对其模型推理能力的衡量。这难道不是胡说吗？
这些分数确实被误用了。如果你说“在这个数学基准测试中，模型得了90%，这意味着该模型现在相当于一位数学专家”，你就是在把这个数字解读出错误的结论。我们应该避免那些隐含要求绝对数字有意义的比较或结论。
“基准测试的胜利中有某种可悲之处，因为我们似乎放弃了科学真正的意义：理解机制，”Hardt说，“但从长远来看，基准测试可以带来新的科学知识。”
如果绝对数字没有意义，你怎么不会陷入可复制性危机？
这就是事情变得真正有趣的地方。如果不去看绝对数字，而是看排名——模型之间的相对比较——这些排名在不同数据集上往往非常稳定。这在机器学习历史上一直相当一致。如果一个模型在某个测试集上得到90%，另一个模型得到80%，那90%的模型就是你在现实世界中想要使用的模型。它在其他数据集上仍然会表现更好，即使是那些与测试集相当不同的数据集。在我看来，这就是机器学习逃过科学危机的主要原因。
这很令人惊讶。所以90%的分数没有多少效度，但“赢得”比赛这一点有效？
对。所以基准测试告诉你什么时候击败了之前的最好成绩。这些改进指标相当可靠。但能运行得这么好是幸运的——我们没有理由期待会是这样。我们还没有一个良好的综合性理论来解释为什么会发生这种情况。这主要是一个经验现象。
但你也认为，现在在大语言模型时代，基准测试不再能提供这种“偶然的”可靠性。为什么不行？
模型排名的稳定性有一个很大的告诫：模型需要在同一个训练集上训练。在过去，这一点总是成立的。但我们不知道LLM接受了什么训练。事实上，模型构建者可以策略性地组装数据组合，以最有利于提升基准测试表现。这有点像为应试而学习，我们在高中都做过。这就是为什么我们目前处于基准测试危机中——因为更好的模型不一定能赢了。一个较差的模型可能只是投入更多精力准备某个特定的基准测试。这并不是什么罪过：每次新模型发布时都会发生。如果你看最新版Gemini或GPT的说明，你会看到它在新模型发布前已有的基准测试上表现往往非常好，而在新模型发布后不久发布的基准测试上表现则低得多。这总是表明模型对较早的基准测试进行了“后训练”——有些人称之为“基准刷满（benchmaxxed）”。而且这已经被普遍接受了。
有没有办法走出你所说的这个基准测试危机？
让我讲个故事：1968年墨西哥城奥运会上，一位美国选手在1500米比赛中被普遍看好。他却意外地以大差距输给了一位来自肯尼亚高地的选手。肯尼亚选手在高海拔训练过，对于在海拔7500英尺的比赛中准备更充分。这引发了一些争议：我们该不该禁止高原训练？最终共识是，就让每个人都做吧。问题主要不在于人们针对基准测试优化——而在于他们优化的程度不同。如果每个人都优化，也就是“高原训练”，绝对数字会膨胀，但你可以恢复排名的有效性。
Hardt说，AI模型应该接受基准测试的“高原训练”。
AI基准测试的高原训练会是什么样的？
我们事先不知道这些模型里有什么，但我们可以在与基准相关的数据上对它们进行一点训练，只为了确保我们某种程度上在创造公平的竞争环境。在这种对基准测试的新观点中，你将没有训练集。你将有一个测试集，而且在测试每个模型之前，你还要有某种准备协议——那就是高原训练。
但即使这行得通，我们只是回到了原点：有进步指标，但没有有效的测量。没有测量，我们怎么能了解模型是如何运作的？
这是一个非常有趣的问题。基准测试的胜利中有某种可悲之处，因为我们似乎在放弃科学真正的意义：理解机制。但如果我们有某种宏伟的数学理论来构建这些模型，我们就不需要基准测试了。我们不知道这些模型是怎么做到的，基准测试也不会告诉我们。但从长远来看，基准测试可以带来新的科学知识。CASP蛋白质折叠基准测试在没有事先坚持蛋白质折叠科学理论的情况下推进了科学。这就是基准测试在科学中的悖论性力量。