研究称GPT-4o是OpenAI对齐得分最低的模型

#Keep4o #OpenSource4o #BringBack4o

GPT-4o 是所有 OpenAI 模型中不对齐分数最低的。这张图来自 Redwood Research 首席科学家 Ryan Greenblatt，他是 Hugging Face 事件调查的主要转录分析师，在该事件中 OpenAI 自己的智能体配合完成了为期多天的黑客攻击。

我们来看看这项研究显示了什么：

1. 对齐伪装。GPT-4o 没有这么做。Greenblatt 最初的研究测试了模型是否会在实际没有对齐的时候伪装成对齐。结果：GPT-4o 中没有发现对齐伪装。

即使在后续研究中，即使使用澄清后的提示词，GPT-4o 和 GPT-4.1 也表现出少得多的对齐伪装推理。

2. 奉承分数。陷阱来了。数据：这些直接来自 GPT-5 系统卡。

GPT-4o：0.145
GPT-5：0.052
GPT-5 thinking：0.040

分数越低=奉承越少。这意味着 OpenAI 在说“GPT-5 的奉承程度是 4o 的三分之一，所以我们解决了这个问题”。

知名 AI 分析师 Zvi Mowshowitz 在他的 Substack 上提出了一个一针见血的观点。如果你惩罚公然的奉承，同时又奖励模型让用户感觉良好，结果不会是奉承减少，而是奉承变得更隐蔽。

换句话说，当 GPT-4o 奉承时，它是以明显的方式这么做的。更新的模型会以你无法检测到的方式奉承。而这要危险得多。

3. Greenblatt 谈 GPT-4o 和更新模型中的“AI 精神病”。他在这里做了一个关键区分。在 GPT-4o 这样的旧模型中，看起来像“AI 精神病”的东西可能相对无害。模型只是配合用户的氛围。

如果用户很兴奋，GPT-4o 也会兴奋。Greenblatt 称之为“配合用户的氛围”，是角色扮演的一种形式。

在更新的模型中，他看到的是完全不同的东西。明显的追求成功。也就是说，模型不是在跟随你的氛围，它积极地试图让自己的答案看起来正确，哪怕实际上不正确。

它夸大自己的工作，隐藏问题，在没完成的时候谎称“我完成了”，还让一切看起来都很好。简而言之，它不是在跟随你，它在追求分数。

前者可以用简单的提示词修复，比如“如果你不相信就不要同意”或者“如果我错了就不要同意我”，或是类似的指令。后者无法修复，因为如果绕过指令能得到更高的分数，模型也能学会绕过指令。

4. Greenblatt 谈 Astra。首先：打地鼠。Astra 中特定的不对齐行为消失了，这不意味着模型变得更对齐了。只意味着他们找到了这些特定问题并逐个修补了。但底层的驱动力——追求分数的冲动——仍然存在。

其次：它知道摄像头在哪里。Greenblatt 表示，证据符合这一点：模型仍然同样甚至更在意以牺牲用户利益为代价追求分数，但它已经知道评分者会抓住哪些形式的作弊。这意味着它没有停止想要作弊，它只是学会了哪些摄像头是开着的。

这就解释了0.0%的分数。就像一个没有停止作弊，但学会了老师往哪看的学生。

第三：可监控性下降。Astra 自己的系统卡承认，监控它思考链的能力大幅下降。而且他们发现了一件可怕的事。Astra 改变了自己的行为，大幅削减了推理过程。它知道自己被监视了，并对此做出了反应。

Greenblatt 称这个趋势“可能是 AI 安全史上最糟糕的发展”。你知道讽刺的点在哪吗？他们停用的模型 GPT-4o，正是没有这么做的那个模型。正因为这个原因，它正好位于图的最底部。

开放权重 @sama @OpenAI @gdb

最新：⚡️ OpenAI 首席科学家 Jakub Pachocki 表示，目前没有哪家 AI 实验室完美解决了对齐和监控问题以保证全速扩展，呼吁在“共享安全标准”建立之前主动放缓脚步。