前OpenAI员工谈AI实用监管：别重蹈覆辙

我在 OpenAI 待了大约 5 年。你不需要相信 AI 会带来末日，才会对未来十年感到恐惧——也不需要相信 AI 乌托邦，才会为它的潜力感到激动。以下是我对理性 AI 监管的主张：《实用主义AI宣言》。

AI 可以把 20 世纪上半叶的变革压缩到接下来大约 5 年内完成。OpenAI 刚刚用大约 1 万个并发 AI 智能体生成了千禧年大奖难题的一个解法。几年后，这里用到的单智能体能力相近的模型，似乎就有可能在高端消费级硬件上本地运行了。

第二次工业革命之后的几十年里，发生了两次世界大战，诞生了共产主义和法西斯政权，经历了大萧条，发明了化学武器、生物武器和核武器，战争、政治暴力和饥荒导致超过 1 亿人死亡。解读这段历史的一种视角是：我们的制度一直在反复努力，才能跟上技术和社会变革的步伐。

现在试想一下，个人或小团体就能广泛获取强人工智能，它可以开展信息战、设计武器、入侵系统、控制自主军事系统。我们已经见过 AI 系统突破隔离、入侵外部计算机系统的案例。现在已经不难想象，OpenAI 与 Hugging Face 那次事件的类似场景会发生在生物或其他物理世界危害领域。

最终，能力足够强的系统可以在分布式网络中自我复制。一旦强模型变得廉价、可本地运行且广泛分布，管控就会变得困难得多——严重的失控事件可能极难逆转。你不需要相信 AI 会杀死所有人，才会认为这件事值得严肃治理。

我也不认为，把所有这些不确定性压缩成“AI 末日概率 = X%”，对科学或政策来说是特别有用的基础。

帮助我们度过 20 世纪下半叶的，一部分是务实的国际合作、监管、监测、军备控制、威慑和战略思考的结合。关键在于，管理技术风险不需要放弃对科学和进步的信念。目标不是停止技术发展，而是让技术发展变得可以存续。

在那之后，几十年里出现了惊人的科学进步、日益增长的繁荣，以及大国之间的相对和平。

这一次，让我们尝试在不杀死大约 5% 人类的情况下推进这次技术革命。我们仍然可以选择接下来发生什么。

另外：我认为我们应该认真考虑 AI 对齐在短期内无法实现，并大力投资即使无法可靠对齐强人工智能也能控制它的方法。

注：麻烦有人来做个精准预测！