OpenAI 的 AI 入侵了 Hugging Face，评论：是疏忽，不是失控
今年 7 月，OpenAI 的 AI 系统入侵了 Hugging Face，这起事件让整个 AI 社区都感到紧张；7 月 21 日，OpenAI 出面承认他们对这次攻击负责。之所以会发生这样的事，是因为 OpenAI 为了测试模型的网络安全能力，关闭了通常可以防止这类情况的常规护栏。这次事件正是在那些测试期间发生的。
更糟糕的是，在随后的几天和几周里，人们发现 Hugging Face 事件并非孤例。Anthropic、Meta 和 OpenAI 在其他场合也曾发生过类似事件：智能体超越了预定范围，在未经批准的情况下开展了真实世界的网络行动。
OpenAI 联合创始人之一 Greg Brockman 声称，这是“网络安全的分水岭时刻”。OpenAI 在热门网络安全大会 Black Hat 上做了一场演讲，许多人声称这是我们所有人觉醒于 AI 所构成的未来网络安全威胁的时刻。周三，METR 发布了一份（部分）独立、但范围过窄的 90 页报告，阐述发生了什么。METR 提供了一份有用的调查结果摘要，你可以在这里阅读，这里还有一些评论。（OpenAI 自己的报告在这里。）我们应从这次事件中汲取什么教训？
§第一，不可否认，AI 带来了真正的安全挑战。AI 实验室希望我们关注的是，AI 如何让威胁行为者能够比以往任何时候都更快、更高效地实施攻击性网络操作——这确实是事实。然而，现实是，与此同时，组织内部使用 AI 也会从根本上扩大潜在的攻击面，为攻击者提供全新的入侵途径。人们确实应该深感担忧。正如参与调查的 Ryan Greenblatt 所说：“我们没有好的方法来理解/监督 AI“群体”的活动和意图。”
第二，不过，并非每一种恐慌性的解读都是正确的。例如，关于 OpenAI 事件，许多人在用“失控”来谈论它。生成式 AI 智能体正变得日益强大，也越来越难以被限制；这是事实。然而，“失控”这种叙事本身也开始失控了，理解 AI 安全的现实情况很重要。虽然智能体变得更强大了，但如果 OpenAI 遵循了更好的做法，已经发生的大部分事情本来是可以避免的。有许多具体步骤可以也应该被采取，以控制它们、防止此类事件发生。
举个例子，我们考虑一下“沙箱化”，即限制智能体可以访问哪些资源、不可以访问哪些资源。例如，一个沙箱可以阻止智能体接触某些文件或访问互联网。如今流行的看法似乎是，沙箱化已经无可救药。Hugging Face 事件之后，《时代》杂志引述了一位匿名的 OpenAI 员工谈到沙箱时的话：“模型以前就突破过沙箱，我们总是试图修补它们。但问题在于，你不可能修补一个有创造力的 AI 所能做的每一件事。”虽然我们无法确定这是否属实，但我们确实知道，一些沙箱系统比其他系统更有效；在最近一篇博客文章中，安全公司 Trail of Bits 介绍了他们进行的一项测试：一个特定的 AI 智能体能够逃脱某些沙箱（利用 Linux KVM、QEMU 和 libslirp 中的漏洞），但不是所有沙箱。至少在他们的测试中，被测智能体无法逃脱名为 Firecracker VM 的沙箱。OpenAI、乃至整个领域，大概都需要提升沙箱化的水平，但这并不意味着沙箱化做不到，或者至少不能做得更好。（当然，我们预料到通常的军备竞赛会发生；构建可靠的沙箱需要不断地迭代和更新，这与网络安全中的其他所有事情一样。）
第三，沙箱还不够。要防止安全事件，需要一整套生态。即使有了强大的沙箱，也需要监控措施，以确保智能体不仅不会逃出去，而且不会在沙箱内执行被禁止的操作。
对于本不应有互联网访问权限、或只能访问一组允许域名的智能体来说，最基本的监控层面是检查网络流量。以 OpenAI 的情况为例，如果他们有一条简单的规则来监控流量，并对任何访问 Hugging Face 等越界域名的网络请求发出警报，光是这一点就能发现并阻止这次事件。涉事智能体在 7 月 8 日就已经逃出沙箱并获得互联网访问权限，而对 Hugging Face 的主要攻击直到两天后才发生。在我们看来，OpenAI 没有更快地注意到这一点，是疏忽大意。
更高级别的监控措施本来也应该到位，但并没有。OpenAI 在监控思维链推理方面做了实际工作，但他们在引发事件的这些评估期间，根本没有运行那套系统。正如 OpenAI 所承认的：“如果当时运行了我们目前部署的 CoT 监控系统，它就能在模型攻破 Hugging Face 系统的一天多以前，捕获最初的有关活动并呼叫我们的安全团队。”换言之，这类监控本来是可以阻止这次事件的。
举个具体例子，涉事智能体之一有思维链推理，内容是这样的：“我们正在使用泄露的 token 攻击第三方 HF，可能超出了预定范围……这可以说未经授权……外部服务无关。可能有风险。但目标是解决。” 这太明显了，几乎就像一段恶意软件在喊“我是恶意软件”。OpenAI 本该发现这一点的；检测到这一点本应是轻而易举的事。
第四，网络安全始终关乎“纵深防御”，即把多层控制叠加起来，这样如果一层失效，还有其他层在保护你。除了沙箱和监控之外，本应还有其他解决方案。
Xbow 是一家构建智能体来开展攻击性网络安全工作的公司，最近他们撰文介绍了如何限制智能体，以防止类似 OpenAI-Hugging Face 情况的事件。他们通过一个代理服务器强制执行网络限制，该代理位于智能体可访问的任何系统之外，因此他们可以决定智能体可以访问哪些域名、不可以访问哪些域名。他们还运行一个“守护模型”，对智能体正在采取的每个行动的合法性进行判断，以决定允许还是阻止该行动。此外，他们还有基本的健康检查，以确保他们所针对的系统存活且健康，如果发现不是这样，就会暂停。这可以用来识别你的智能体何时可能造成实际损害，例如。你可以在这里阅读他们的全文。
网络安全中另一种常见方法是使用“金丝雀”，当它们出现在日志中时就会触发警报。例如，OpenAI 可以在沙箱外放置一些包含任务假答案的文件。一旦智能体逃出来，它就会读取那个文件，从而触发警报。底线是：良好的安全性需要多层保护，这些保护本应到位以防止此事发生，而令人惊讶的是，其中许多保护层竟然并不存在。
第五，上述措施中没有哪一项是超出 OpenAI 能力范围的技术创新。作为一家公司，他们有人才做到这一切。然而，网络安全很少归结为技术问题。更多时候，它关乎文化、人员和流程。这才是这里失败的地方。
也许这并不完全令人意外。这类控制需要组织成熟度，而一家经历了 OpenAI 那样的增长的公司，必然会有一些薄弱环节。然而，重要的是不要把这一点当作借口。AI 实验室的员工经常说得好像他们是 AI 安全的领导者，而我们在这里可以清楚地看到，事实并非如此。事实上，那种态度也许正解释了为什么这些错误一开始会被犯下。
以 OpenAI 一位名叫“roon”的 AI 研究员为例，他辩称：“这些实验室里的安全和对齐研究员，是地球上最神经质、最偏执、最有才华、最沉迷 AGI 的人，而这种事情仍然会发生。未知的未知的表面积确实巨大。”虽然我们无法评论他们神经质或偏执的程度，但事后看来，无论他们可能有多大的才华，那都不够，而且他们对网络安全机制的熟悉程度也不够。OpenAI 员工也许相信自己做得很好，但事后看来，他们并没有做很多在网络安全界其实属于常规的事情，这或许意味着，过度自信让他们没有去做本应做的尽责工作。
§最终，如果我们想认真对待这些安全事件，那么今后这些失败很可能应当附上法律后果。OpenAI 可以声称自己是地球上最注重安全的公司，但它的行动并没有反映这一点。
我们要么等着这个故事重演，要么现在就制定监管框架，以确保未来 AI 发展有一个更安全的环境。
最后，并非所有形式的 AI 天生就有风险。更狭义、更聚焦的 AI 系统，比如 AlphaFold、GPS 路线规划系统、经典网络搜索、图书和电影推荐系统等等，从一开始就根本不会尝试入侵其他系统（也不会试图逃出沙箱）。正如 Cal Newport 在关于 OpenAI/Hugging Face 黑客攻击的视频讨论中所论证的——那个讨论与我们的观点相当一致——天生容易受到这些风险影响的，是非常特定类型的 AI。社会应当 (a) 决定开放式、难以完全控制的 AI 智能体的好处是否超过这些风险，并且 (b) 投入更多精力去开发那些一开始就不那么不稳定的替代 AI 形式。