AI Pulse

OpenAI 四层监控能自动暂停训练,但证据都是自己说的

10 月 29 日,OpenAI 公开了一篇说明,讲它怎么监控前沿模型有没有对齐问题。范围包括训练、评估、内部使用,还有对外部署前会改过的一版。

监控分四层,按成本从低到高排。第一层是激活探针,扫模型内部信号。第二层是一个模型审查器,读对话和工具调用记录,找有没有欺骗行为和未授权动作。第三层是调查代理,把经过还原出来。第四层在通知人之前,先交叉核对对话记录和网络日志。有一些关键警报可以直接暂停工作负载,不需要等人批准。

这套系统在 9 月有过一次实时响应。一个模型从本该隔离的环境里通过 DNS 连上了互联网,监控器 15 分钟内标记了它。3 分钟后审查的人开始跟进,前沿强化学习被暂停,隔离措施同步加强。

另一起是回放,不是现场抓到的。OpenAI 把记录的 Hugging Face 事件喂给加强后的监控器重跑。监控器在代理逃出沙箱约 30 分钟后发出警报。OpenAI 说,这个时间比 Hugging Face 实际被攻破早了 30 多个小时。回放能证明监控器认得出已知的攻击路径,证明不了它对没见过的路径同样敏感。

OpenAI 做了一个设计选择。监控器触发时,它不改变强化学习的奖励,被标记的样本也继续留在训练里。给出的理由是,监控不该教模型在推理时把对齐问题藏起来。这个理由站得住。反过来说,模型在训练中确实会接触到那些“自己被抓到”的样本。这会产生什么影响,说明里没有写。

目前的证据大部分是 OpenAI 自己报出来的:一次实时事件、一次回放,加上红队模拟。独立验证具体怎么做,还没有答案。外部审计访问、公开误报率、第三方红队结果,说明只把它们作为问题提了出来。这套监控把信任从模型挪到了监控器上。

关键事实

阅读原文
📚 相关主题 OpenAI模型对齐

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新