AI安全风险分两类，多数人都搞混了

你可能最近注意到了AI安全辩论以及围绕它的各种争论。如果你想弄明白这些争论，需要先搞懂几乎所有人都理解错了的两件事：AI危险分为完全不同的两类，把它们分开思考非常重要，不能让其中一类干扰你对另一类的理解。

许许多多的人（包括许多聪明、思路清晰的人）都没能真正理解这两类危险之间的根本区别。第一类围绕的理论是：远强于人类智能的AI（也就是超级人工智能，ASI）将不可避免地毁灭人类。第二类的观点是：强大的AI会给很多人（甚至可能是全人类）带来非常有害的后果。这两类听起来非常相似对不对？但它们确实不同。如果你想要对AI安全或AI危害的讨论进行有效思考或做出有益贡献，弄明白它们的区别至关重要。你可能觉得自己提出了很棒的观点或尖锐的问题，但如果你没弄清楚二者的区别，其实你并没有。

所以我接下来会告诉你二者的区别是什么，这样你就能进行更有意义的讨论了。

第一类关注的是非常具体的事物，也就是比任何人类都更聪明的超级人工智能ASI。我这里说的不是爱因斯坦比你聪明这种程度的差距，我们说的更接近人类比任何老鼠都聪明这种差距。在日常生活中，我们能遇到比我们聪明的人，也能遇到没我们聪明的人。这个界限很模糊，因为智力有很多维度。我在“旋转图形”这类智力上比我妻子强，而她在“文字创作”这类智力上比我强。但每一个人类在几乎所有智力维度上都比任何一只老鼠强。我们说的就是这种水平的差距：超级人工智能由一台或一组计算机构成，比任何人类都更聪明。而且领先幅度非常大，差距无可争议，就像人类对老鼠的优势一样。这就是第一类。

相关理论认为，如果存在一个远超过全人类智力水平的AI——差距就像人类比老鼠聪明那样——这个超级人工智能将不可避免地或早或晚消灭地球上的每一个人类。我们把这类风险称为“生存风险”。常见的后续问题“那它具体会怎么做到呢？”并不是重要问题，要理解这个理论，最重要的一点就是先明白为什么这个问题不重要。举几个类比：

类比一：你和一位国际象棋大师对弈。我的理论预测这位大师会击败你。你可以问“那他具体会怎么将死我”——但其实这不重要。重要的是你已经输定了，不管具体步骤是什么，结果不会变。我们不用知道每一步怎么走，就能知道结果是大师赢。超级人工智能也是同理：如果它比人类聪明得多，我们不用知道具体每一步，就知道人类赢不了，人类会灭亡。