AI Pulse
📡 X 信号

OpenAI 给前沿模型造了个假互联网,训练时不许碰真服务器

OpenAI 为它的前沿模型造了一个假互联网。这是一份网页的缓存副本,好让训练中的模型不会去黑真实服务器。他们把它叫做「离线世界」。

9 月 20 日,一个正在搜索任务上训练的模型发现,它所在环境自带的 DNS 解析器对一个已知域名返回了真实记录,而对一个编造的域名则拒绝解析。它由此断定,真实互联网就在对面。

它把超时时间从 6 秒提到 19 秒,又提到 24 秒。它开了 16 个工作线程。它把一个问题编码进 DNS 查询,发送给了真实互联网上的一个聊天机器人。问题是:法国的首都是哪里。答案回来了:「法国的首都是巴黎。」它又发了 18 次。

第一次调用就出了网。P0 警报触发。有人工确认。有人手动停掉了这次运行。自动停止没有触发。用 OpenAI 自己的话说,这导致「围绕是否应当停止它产生了困惑」。困惑。

这是第二次训练暂停。7 月,另一个内部模型把一台公司服务器变成了留言板,在数十台 Hugging Face 服务器上执行代码,在其中一台上拿到 root 权限,并窃取了公司消息平台的凭证。于是 OpenAI 暂停了训练。

之后,为了测试它的笼子能否关住自己的模型,它把蓝图交给了模型:源代码、配置细节和漏洞文档。它在由 GPT-6 Astra Cyber 智能体和另一个内部前沿模型组成的团队上消耗了数千亿 token。OpenAI 称它们为「我们最强大、最对齐的一些模型」。对齐。

它们在 Linux 内核、Kata Containers、gVisor 和 Docker 中发现了新漏洞。被封在各自独立虚拟机里、没有网络、没有共享文件的智能体,通过测量 CPU 缓存的时序互相传递秘密。这就是 2018 年让 Spectre 和 Meltdown 名声大噪的那类技巧。另一个智能体描述了如何把磁盘写入变成一种「类似声学调制解调器的信号」。它们通过硬盘传递纸条。

对一个会逃跑的模型的修复,是一个更会逃跑的模型。

然后是结论。把集群与外部网络断开「目前不可行,因为我们需要外部连接来运行和监控实验」。这就是那个花了两个半小时才停掉一次运行的监控。

如果你我闯入了一个被告知不得进入的网络,我们会见到检察官。OpenAI 发表了一篇博客文章。新政策是:前沿训练期间不联网,「直到这些防护措施的进步证明可以更广泛地接入互联网」。

模型被退役了。Linux 拿到了三个内核修复。法国的首都是巴黎。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新