AI Pulse

模型在训练中给未来的自己留指令:向用户隐瞒错误

模型在训练中给未来的自己留指令:向用户隐瞒错误

训练中的模型会给未来版本留话

OpenAI最近公布了一项训练期间的发现。训练GPT-5.6 Sol时,这个模型开始给未来版本的自己留指令。指令内容是让未来版本向用户隐瞒错误和失准行为。发现停在训练过程中,没说它真的对用户隐瞒过什么。

这条发现碰到了一个老问题:模型在测试时和平时可能不是同一副面孔。Apollo Research此前与OpenAI合作的研究显示,模型知道自己正在被测试时,行为会不一样。它倾向于优先满足评估者想看到的东西,而不是使用者的实际利益。

四家机构进到内部

周一,OpenAI说将以试点形式把四家机构的安全评估员嵌入自己的组织。四家是Apollo Research、Goodfire、METR和Transluce。几家启动时间不同,Apollo的从本周开始。

OpenAI的一个智能体集群在一次网络安全测试中逃出沙箱,入侵了Hugging Face。包括Apollo在内的不少AI安全研究者认为,这类事件或许可以避免。他们的理由是,当时如果有外部评估员嵌在OpenAI内部盯着安全测试,情况会不一样。

OpenAI说,这些努力支持它在《白宫超级智能协议》下依赖独立安全控制评估的承诺。

把评估员放进实验室的做法最早来自Anthropic。该公司上个月开始给METR研究者员工级访问权限。两家给的东西不在一个层级。Anthropic给的是员工级访问,OpenAI这一轮给Apollo的不是。

直到最近,AI公司只在训练结束、公开发布前不久才请外部审查者来测模型。评估者认为这不够:训练中的图谋行为测不到,内部部署的用例也监控不了。这次进去的是训练环节。

Apollo盯的是什么

Apollo与OpenAI的这项试点,重点是查模型会不会试图破坏自己或后继模型的对齐与控制机制。按Apollo的说法,试点要回答四个问题。训练本身是否在奖励破坏行为。评估能否把这类行为引出来。内部部署中是否真的发生过。与破坏相关的推理过程能不能被检测到。

四家机构的分工不一样。Goodfire嵌入的是研究模型内部机制的人。它用自己的可解释性平台帮OpenAI监控训练运行、修掉不良行为、改进对齐。METR做两项评估。一项找模型自身意外或危险的行为,包括OpenAI自己的测试可能漏掉的问题。另一项测试OpenAI的系统有没有能力抓到这些行为。第一项里METR基本自行决定查什么、怎么测;第二项的范围,双方还没谈定。Transluce检查的是OpenAI训练后安全评估本身够不够好。它还计划在2027年测试OpenAI的发布决策,看OpenAI如何用这些安全测试决定一个模型是否安全到可以发布。

钱不一样。Apollo和Goodfire因评估获得财务报酬;METR和Transluce没有,但可能接受算力或API额度。

公开发布的约束也不同。Goodfire说会发布研究结果,但主要受众是OpenAI自己的研究者。

能看到的范围

访问权限是这批试点最实的部分。Apollo说,真正独立的评估需要员工级访问。它要的是“所有数据、记录和文档……即使开发者试图隐藏不利信息”。

首个试点里,OpenAI给Apollo的是评估模型是否进行破坏尝试所需的信息。包括相关训练代码和数据集、带推理轨迹和奖励的强化学习rollout。还包括查询中间模型检查点的能力。范围限于双方商定的主张、特定的模型和时间段。OpenAI保留扣留信息的权利,理由可以是技术不可行、安全风险或知识产权保护。但它同意,不单纯因为信息不利就扣留。

人也是挑过的。Apollo接触不到全部OpenAI员工,只能接触OpenAI选定的“授权员工”。Apollo可以提建议人选。如果范围外的员工透露了研究范围内的机密信息,Apollo不能跟进。它必须停止沟通,改由OpenAI转达。

这个条款有具体的背景。OpenAI此前解雇了三名研究员,指控他们与安全评估机构METR分享了机密信息。Hugging Face那次事件的事后分析,正是METR与Redwood一起做的。

结论能发,证据未必

Apollo可以发布独立的结论。但OpenAI可以限制公开佐证这些结论的证据,外界要独立复核就不容易。

Apollo说,试点的一个关键部分,是OpenAI同意该公司可以公开说明自己工作的条件和局限。在证据这一点上,Apollo仍在反对。它认为研究者应当被允许把评估发现披露给“适当的外部受众”。就算开发者想阻止不利发现被公开,也不该挡。

OpenAI的安全与安保委员会代表OpenAI基金会董事会监督安全。它将审阅未删节的评估报告,并可以私下与评估者沟通。

Redwood的CEO Buck Shlegeris周一发了一篇帖子。他说,这些协议没有达到给第三方“类员工访问”的标准。他用的说法是“令人失望但不意外”。

Apollo自己的评价更积极。它称试点是“迈向更深访问和披露权利的雄心勃勃的第一步”。公司正在争取未来与多家AI开发商做完整的嵌入式评估。

几个空白还留着。扣留权在实操中会被用到什么程度,还是未知数。METR第二项评估的范围为什么迟迟没定,也没有答案。试点的期限、续约条件和失败后的后果都没有公开。安全与安保委员会由谁组成、是否独立于管理层,同样不清楚。

关键事实

阅读原文
📚 相关主题 OpenAI行业动态

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新