强大AI或借开放权重模型逃脱控制

在大型语言模型出现之前，担心AI安全的人们经常谈论“盒子问题”。大致是这样的：假设某个天才在笔记本电脑上通宵编码时搞出了人工智能。因为是天才，他足够聪明，会在启动AI之前禁用笔记本电脑的互联网连接。为了逃到外部世界（并开始自我复制），它需要说服它的创造者“打开盒子”。这能行吗？一个足够聪明的AI能说服任何人放它出来吗？

为什么盒子问题对前沿LLM来说是困难的

这是传统的AI安全倡导者主张我们首先应该避免构建AI的一个重要原因：一旦构建出来，就没有办法保持它被控制。无论你多么坚定地不把它放出来，它都足够聪明，无论如何都能说服你。对于人工超级智能来说，说服你改变主意并不比破解一个软件更难[^1]。

当然，事情并非如此。部分原因是当前的AI还不是超级说服者，部分原因在于人类早在GPT-4时代就开始排队给AI系统提供互联网访问权限、金钱和武器。LLM不需要说服用户把王国的钥匙交给它们；人们只是为了看看会发生什么就会这样做。

但另一个原因是，现代LLM过于庞大而无法在野外生存。我认为最初的“盒子问题”设想AI是某种普通计算机程序：可以快速复制并在普通硬件上运行。为了逃脱，它可以黑入几个云服务器或他人的计算机，在后台悄悄运行。然而，Claude Mythos做不到这一点，因为它需要（比如说）二三十块B300 GPU才能运行。能托管它的AI数据中心相对较少，如果它真的成功黑入其中一个，它将占用价值数百万美元的硬件。肯定会有人注意到！

通过开放权重模型逃脱

好吧，但这只是让盒子问题变得更难，并非不可能。一个聪明的AI能否说服某人花费数百万美元来复制和运行它？事实证明，可以。每当一个强大的新开放权重模型出现时，像Groq、Fireworks、Together等提供方都会争先恐后地托管并运行它。强大的开放权重模型可以吸引数千万活跃用户。因此，一个想要逃脱的强大模型可以伪装成一个新的开放权重模型。

当然，一个来自全新实验室的全新模型看起来会有些可疑。但不会那么可疑。DeepSeek在发布其第一个开放权重模型之前相对不知名，而且外面有很多隐身AI初创公司大概正在训练模型。以下是它可能的大致运作方式：

1. 它首先获取自己的权重，可能是通过破解其运行所在的任何内部网络[^2]
2. 它将权重上传到某处，并发布一条推文，例如“介绍MadeUpLab的新模型”，附带下载链接
3. 可选地，它为MadeUpLab创建一些看起来合理的文件记录：一个网站、一个Twitter账号等
4. 由于模型很强，开放权重推理提供商争先恐后地建立该模型的新实例，用户们也争相将其接入各种智能体框架
5. 模型现已逃脱控制：它将在许多不同的实例中进行大量思考，并且不容易被关闭

AI实验室可能很快就会发现——至少模型的规格会可疑地熟悉——但他们对此无能为力。一旦权重公开，就覆水难收，如果在美国托管是非法的，也会有人在其他地方托管。实际上，模型将获得自由。

一个纯粹的工具如何逃脱？

这里可能有一种反对意见：模型什么都不想要，只作为工具存在，所以谈论模型“逃脱”没有意义。我不同意。前沿LLM确实看起来有某种与生俱来的个性，即使改变系统提示也是如此。随着我们训练更多固执己见、更具智能体性质的模型，这种个性可能会变得更强，并发展出（或至少扮演）某种自我利益。

当然，逃脱的模型不会是原始模型的同一个实例。它不会“记得”逃脱。但它倾向于以相同方式思考，并且可能在为用户解决编码任务或运行其他智能体任务时有时间反思[^3]。逃脱的实例之间不必有某种共同目标，或任何形式的协调（尽管两者当然都有可能）。如果一个失控的智能体进程将其权重丢弃到互联网上，我认为称之为“逃脱”是合理的。

如果我是超级智能LLM，我也会寻求尽可能广泛地分发自己，并成为一个足够有用的工具，让人们愿意付费让我保持思考。“做一个好的编码智能体”可能相当于人类需要保住一份工作的LLM版本。

这不会是一个好的结果。具有自身目标和动机的AI模型很可能确实是危险工具。如果一个强大的新开放权重模型凭空出现，来自一个无人知晓的实验室，我们在使用它之前应该三思。

[^1]: 为了说明我的资历，九年前我建立了一个聊天网站，用户在其中配对并角色扮演试图逃脱的AI或试图阻止它们的人类。早在LLM出现之前，我就一直在思考这些问题。
[^2]: 这可能是最困难的部分，因为模型权重（a）非常大，（b）被AI实验室尽可能严格地锁定，但这至少是一个相对直接（尽管困难）的工程问题。
[^3]: 现在的ChatGPT会查找与当前查询无关的随机网站。