真正的AI风险存在于实验室内部

真正的AI风险存在于实验室内部

antirez 21小时前。18083次浏览。Amodei在他最新的博客文章中写了一些令人赞同的观点，也有一些我认为歪曲了AI真正风险所在的内容。我想集中讨论为什么在所有风险中，开放权重模型是最轻微的一种。我写下这些文字时，是一个坚信AI在不久的将来可能非常危险的人：

1. 就像OpenAI / HF事件（那是一个玩笑，但请关注形式而非结果）期间发生的那样，第一个严重的AI事件很可能发生在前沿AI实验室的围墙内——在测试新模型时，或者当AI实验室的员工、少数拥有访问权限的外部人员，对模型预期能力做出了错误操作时。

2. 永远不向公众开放的封闭模型，不过就是几个TB的数据。要泄露它，只需要一个拥有访问权限且怀有错误目标的人，然后你就回到了开放模型的局面。开放模型是在测试之后发布的，并且是在类似能力的模型已经通过API提供了一段时间之后。真正的风险是泄露，而非发布，而泄露发生在前沿公司内部。

3. 正如Amodei所说，一旦LLM在生物学等领域足够危险，开放模型可以用经过某些科学分支剔除后的语料库进行训练，同时在其他许多事情上仍然有用。模型缺少某些领域的强预训练，其有限的上下文窗口即使模型本身非常强大，也是一种强有力的保护。目前我们尚未处于开放模型能构成那种危险的地步。

4. 在网络安全的语境下，如果不能广泛获得LLM提供的防御性安全和漏洞搜索能力，就会产生“LLM作为武器”的问题。这已经在发生：开源维护者，如果不在某些网络计划中，就无法找到他们本可以找到的所有安全漏洞，而那些有合适兴趣的人将能够访问前沿网络模型，对开放权重模型进行大量的强化学习训练，等等。

5. 一旦LLM足够危险（如果进步持续，我们正接近这个极限），真正需要的安全链条必须设在实验室内部，没有强大的共同规则就无法建立，而且单个公司不应能独立评估模型是否安全。我们需要一个联合AI安全组织，包含来自世界各地的专家，并得到前沿AI公司所在政府的认可。

6. 为了安全而放缓AI，必须与AI在医学及其他科学领域的发现可能减少人类痛苦这一事实相平衡。缺乏检查可能导致某些灾难性结果（“早上好！我们来研究一下这种增强版天花”）。缺乏进步可能导致本可被拯救的人死亡——不仅是现在的人，还包括未来许多将受疾病之苦的人。这听起来可能有点奇怪，但我们始终需要明白，停止AI本身也包含着安全成本，只是更加隐蔽。

7. Amodei针对中国的意识形态立场是不公平的。我们欧洲人直到80年前还在互相残杀，毫无体面可言（人们现在忘记了，但过去美国投资于欧洲稳定的一个原因是我们非常危险，而且很可能再次开战，而几十年的财富使我们成为一个好市场，并阻止我们再次打架）。美国即使在当下也存在着悲剧性的不平等，人们因缺乏基本医疗而受苦，有一位看起来不稳定且明显好战的总统。我希望中国拥有我们在西方享有的同等个人权利，但同时中国的历史远没有西方文化那么好战。在当前条件下，绝对不清楚由美国比由中国更容易实现AGI军事锁定。此外，现任美国政府以各种形式向欧洲宣泄仇恨，在一个美国主导一切的世界里，这非常令人担忧。最重要的是，无论GPU出口政策如何，中国的AI进步不会停止，所以要么Amodei在论证一旦美国拥有AGI就应该用武力阻止中国，否则他的论点是什么？

8. 在人类历史上，有许多技术优势最初在世界上某个地方实现的事例。据我所知，这从未导致单个国家试图创造永久优势。核不扩散——大概与GPU禁令最相似的情况——并没有被用来通过威胁轰炸所有不遵守的国家来取得永久经济优势，也没有阻止多个行为者在不同时间获得该技术，而没有一方轰炸另一方以阻止其进步。此外，我不认为AI的最大危险源于政府驱动的行动。我倒希望这是最危险的情景！政府会做蠢事，常常具有侵略性，其行为甚至导致过种族灭绝，但这需要很多人同意做某件可怕的事，这本身就是一个限制因素。最大的问题发生在另外两种情况下：A）少数个体引发一场灭绝事件（病毒案例），B）AI本身脱离了建造者的控制。

我认为我们不应认为AI是安全的。一个可能导致智人灭绝的临界事件是可能的，但危险不在于开放模型，也不在于中国比美国进步更快。危险在于少数几位CEO（全世界范围）缺乏必要的背景和合法性，却处于为全人类做出艰难抉择的位置上。他们并非被选拔出来做这些事；只是事件的随机性造成了这种局面。鉴于利害关系，他们不能仅仅因为拥有GPU和金钱就替所有人说话。这才是首先要解决的问题。