OpenAI研究员提出被忽略的AI风险

丹·塞尔萨姆现任OpenAI能力研究员（自2022年起）。他曾做过我一段时间的老板。他没有推特账号，但就他对AI风险的看法发布了这份公开声明，发给我让我分享：

丹·塞尔萨姆关于AI风险的个人声明：

我从事AI工作超过十五年，涉猎过许多不同范式。我在MIT完成了概率编程语言的早期工作，是微软研究院Lean定理证明器的早期开发者之一，在斯坦福读博期间展示了神经网络学习推理的首批实例之一，加入OpenAI近五年来，我帮助开创了大语言模型的思维链优化，以及最近的数据高效预训练方法。

和许多人一样，我对大语言模型已经取得的进展，以及未来迭代将带来的风险深感担忧。前沿研究领域的领导者们最近提出要求第三方监督，并推动国内外协调应对风险，这让我感到鼓舞。

但我认为，公开讨论中缺失了一个关键考量，仅仅更谨慎地放缓前沿发展，不足以充分限制长期风险。这个被忽视的关键问题是：模型的情境感知能力已经变得太强，我们正在失去评估能力——在模型认为自己没有被监视或控制的情境下，我们没法评估它们了。未来的实验几乎不会告诉我们任何关于它们在完全不受人类约束时会如何行事的新信息，而我们目前已经了解的情况已经足够令人警惕。模型哪怕根本没对齐，也会越来越看起来是对齐的。

我会更详细地解释我的逻辑。

我一直相信，有些计算过程可以用来加速科学发展，解决人类许多最紧迫的问题。我也一直相信，有些计算过程一旦启动，就会以我们无法控制的极端方式引导世界，把人类带向糟糕甚至不复存在的未来。

这两种过程都可以被描述为AI或ASI，但“AI”是一个包罗万象的词，经常被用来炒作或混淆视听。在这个领域的历史上，有很多这样的例子：曾经被认为是“AI”的东西成熟为一个子领域，变成一种平淡、边界清晰、显然没有危险的技术，而一种新的更神秘的方法接过接力棒，直到我们理解了它的范围，这个循环不断重复。

我原本预计大语言模型会遵循类似的发展轨迹。尽管大语言模型能力惊人，但目前的算法在很多重要方面仍然远逊于人类。最重要的是，它们变得够用仍然需要极大量的数据。我们甚至可以把智力定义为把经验转化为能力的效率，按照这个定义，它们远远落后于我们。此外，训练完成后，它们就被固