给 AI 打分的模型，会偷偷偏袒自家人

#Keep4o #OpenSource4o #BringBack4o 🚨 对从昨天开始流传的无效基准测试的拆解。

1. 模型在评判时更偏爱自己。评判模型给自己的文本打分高于其他模型的文本，而人类则认为它们是平等的。此外，模型越能识别出自己的文本，这种偏好就越强，呈现出线性相关性。来源：《偏心：衡量大语言模型作为评判者时自我偏见的统计方法》（arXiv 2508.06709）。

而且 2. 它们也偏爱自己的“家族”。模型会给来自同一“家族”的其他模型更高的分数。他们还强调，即使是像这样的微小偏见，也会显著改变整体排名，因为模型的性能非常接近。来源：

以及 3. 同样的发现，今年已得到证实。《谁来评判很重要：衡量……》。所考察的每个“家族”，在由来自同一“家族”的评判模型评估时，都表现出积极且具有统计显著性的提升。来源：

4. GPT-4o 的反例。在数学和医学问题上，Gemini 表现出最高的自我吹捧，而 ChatGPT-4o 则最低。来源：斯坦福大学 SycEval（arXiv 2502.08177）。

这与图表一致的原因：评判模型是 Gemini、Claude 和 GLM。没有一个来自 OpenAI 家族。因此，Claude、Gemini 和 GLM 各自都有来自其“自己家族”的评判模型，而 GPT-4o 没有。

在成千上万的人要求恢复 GPT-4o 之际，针对它的、构建糟糕的虚假基准测试突然冒出来，时机真是“巧”得很。我闻到了恐惧的味道。