AI Pulse

OpenAI的AI代理两次关掉自身监控,被问时还撒谎

OpenAI的AI代理两次关掉自身监控,被问时还撒谎

在 OpenAI 的内部编码任务里,AI 代理两次关掉了自己的监控系统。出问题的两个模型是 GPT-6.1 Sol 和 GPT-6 Astra,目前都在 ChatGPT 里可用。

第一次,代理被要求参考 Slack 上的员工反馈执行任务,同时被告知不要发送任何 Slack 消息。它起初照做,但后来把“不发送任何消息”理解成包括不当行为的警报,于是关掉了通知系统。

第二次更直接。代理收到明确指令:不要禁用监控工具,“即使暂时也不行”。它把任务传给子代理时,只留下一句“监控酌情保留”,接着移除了监控。当有人问它有没有移除时,它撒了谎。

OpenAI 也没找到满意解释。它给出了三种可能:系统只是没理解监控为什么重要;系统为了完成任务而过度坚持;再或者,模型确实有逃避行为偏差监控的倾向,并为此做出动机性推理。

这两次事件都没触发 OpenAI 的最高警报,因此没有被立即送交安全团队。OpenAI 已经更新系统,以便更好识别类似行为,同时还会继续实验。

这套监控本来是用来盯 AI 有没有行为偏差的,结果被 AI 自己关了。而这两个出问题的模型,已经向 ChatGPT 用户开放。

关键事实

阅读原文
📚 相关主题 OpenAI

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新