超级智能并非命中注定，一位作者：相信它正扭曲对AI的讨论

有一种广泛的信念，认为人工超级智能（ASI）是不可避免的。在这篇文章中，我认为这是错误的，而且相信它是一大堆糟糕讨论的根源。

人们为什么相信它？

这很容易相信。Samuel Butler 早在1863年就观察到，机器改进的速度比人类改进的速度快。今天，AI系统获得能力的速度远比人类快：五年间，我们从几乎连不成句的系统，发展到了自主网络犯罪。

生物神经系统有很多优点，比如能效高（因为它们靠布朗运动运行，也就是免费），但它们是由进化设计的，进化是一个贪婪的优化器，无法规划，也难以轻易回溯。鉴于我们对计算的物理极限和探索性工程的了解，我们有理由认为我们可以做得更好，制造出完成大脑工作但更好、更快、更便宜、传递依赖更少的机器（一个人需要整个生物圈才能存活，计算机只需要电）。如果你相信自然选择——很难不相信——那么从长远来看，聪明、快速、廉价将胜过愚蠢、缓慢、昂贵，这似乎也是合理的。

最后，对未来的严谨思考总是导向极端结果。

为什么这是错的？

首先，让我试着精简“不可避免”这个概念，然后再处理事实内容。

“不可避免”这个词在修辞上具有误导性，因为它量化了人类的整个未来，而在如此长的时间尺度上，几乎任何事情都会发生。人类灭绝是“不可避免”的，即使没有别的原因，热力学也决定了这一点。因此，它让你可以在当下与遥远未来之间偷换概念。你可能会争辩：“一百万年后，人类不太可能成为宇宙中的主导智能”——这或许是真的——“所以我们应该今天就建造超级智能AI！”——不，这不是推论。这就是谬误：因为某事最终会发生，就认为我们不如直接切入正题，今天就做。但这显然是荒谬的。就像说：我总有一天会死，那为什么不今天就死呢？

我们无法控制一百万年后世界的样子。但AI是在今天建造的，我们对当下拥有一些控制力。

好吧，也许我们可以用“n-不可避免”来替代“不可避免”，其中n是年数。这样好一些。你可能会说：“AGI 是 5-不可避免的，ASI 是 10-不可避免的”。那么，这是真的吗？

不。我们不处于“地下室里的种子AI”的时间线——一个孤独的天才找到正确算法，就能在单核笔记本电脑上构建并运行ASI。事实上只有两家前沿AI公司，都在同一座城市，它们必须花费天文数字般的资金，数千亿美元，才能把AI的前沿稍微向前推进。而能够推动前沿的人如此之少，以至于他们不断从一家公司跳到另一家：从DeepMind到OpenAI再到Anthropic，然后又跳回来。方法的时间线也是一样：2020-2023年，所有人都在扩展预训练；2022-2023年，所有人都在做指令微调和RLHF；然后2023-2024年，合成数据开始奏效，之后是推理模型；从那以后，焦点转向了强化学习。同样的公司、人物、想法、方法和范式。而这些公司几乎没有政治力量来反对监管。

不可避免的事情怎么会如此集中？

当年印度尼西亚、瑞典和瑞士都想要核武器的时候，你论证核扩散不可避免要容易得多。甚至朝鲜，一片寒冷的山区荒地，也能造出核弹。然而，说到AI，只有美国和中国——分别是世界第一和第二大经济体——才称得上“在竞赛中”。甚至整个欧洲都与AI无关。

为不可避免性辩护的糟糕论证

你可能会从经济必要性来论证：AGI和ASI具有如此巨大的经济价值，不发展它们就像要求人们别去捡地上的万亿美元钞票。这个观点有两个错误。

第一，因为这些经济利益不会归于我们。ASI会爆炸性地增长经济，但我们很可能不会成为那个经济的参与者，甚至受益者。在凡尔登的某个地方，有一个蚂蚁群落被一发流弹炸毁：这就是人类在一个由远超人类的机器主导的世界里的命运。我们将失去控制，它们将拥有自己的存在，我们会被踩在脚下。

第二，因为有很多本来具有经济价值的技术，却因为极端的安全主义而被我们放弃了。核能很棒，而且它实际上在全世界都是非法的。英语世界的经济共识是：所有经济活动，无论多么有益，在经历一段奥德赛式的监管、“社区咨询”、“利益相关者”等流程之前，都是非法的。而这还是针对像盖房子这样无害的事情。我们完全可以监管造神。现代WEIRD社会的显示偏好是：我们对下行风险的关心远超过上行收益。Scott Alexander非常雄辩地解释过：

> 我们设计这个社会是为了擅长扼杀创新。现在我们遇到了一个只能靠一群勇敢的阻挠者、过度活跃的监管者、反技术狂热分子、社会主义者，以及所有原则上憎恨新事物的人组成的联盟才能解决的问题。这就像那些电影里，Shaq误打误撞进入一个只有打篮球才能拯救世界的情境。拒绝让21世纪的美国社会实现其目的（telos），将不仅仅是一种生存风险——那是一种荒谬的歪曲。

你可能会从囚徒困境论证：如果我不做，中国会做。但如果我们能理解为什么建造ASI是灾难性的，中国也能理解。西方和中国有不同的政治制度和利益，但两者都有人类居住和治理，而人类彼此之间的共同点远多于与任何未来ASI的共同点。我们可以与中国合作和协调，因为不摧毁世界和双方自身，符合双方的理性自利。

你可能会从历史必然性论证：世界有既定的轨迹，在建造ASI并灭绝的过程中，我们在实现人类的telos，即目的。这是一种荒谬的迷信。“我必须喝下毒药，历史早已注定！黑格尔谈过这个！”——这是荒唐的想法。此外，无论你能引用什么经验趋势来支持“我们的命运是建造ASI”这个观念，它们也同样支持各种替代性的未来：超人类主义、意识上传等等。因此，历史的必然性土崩瓦解，因为你可以把趋势线延伸到多个相互排斥的未来。Borges写道：世界是有序的，但那是天使的秩序，而非人类的秩序；也就是说，世界的体系对“命运”、“不可避免性”、“进化的下一步”这类人类观念无动于衷。

为什么这有害？

一般来说，如果你把某件事的概率固定在100%，它会扭曲你的思维。但更具体地说，“ASI不可避免”这一错误前提是许多错误想法的根源。

如果你是一家AI公司的高管，你会想：它不可避免，而且很快就会到来，所以我们需要抢先建造它，并把它造好。即使AI不断逃离控制并入侵所有人，即使它们的能力远超其智慧，这都不重要：你只能用现有的军队去打仗；类似地，你只能把手中有的那个小神祇举上天——不管它是天使还是恶魔。

如果你是国家安全领域的人，你会想：这是一场与中国的竞赛，我们必须赢得未来。

而且，如果你是AI安全人士，这个“不可避免”的模因也是许多错误想法的上游。许多（大多数？）AI安全人士相信，ASI既是不可避免的，又是极其可取的——如果它“走对”的话。AI 2040情景以人类解决对齐问题并将火炬“传递”给AI，让它们为了我们的利益管理世界而告终。例如，Nate Soares写道：

> 对齐的超级智能，是我们把宇宙中丰富的资源高效转化为繁荣、乐趣、艺术、美、冒险和友谊，以及所有让生命值得活下去的东西的最佳赌注。

随便打开一个AI安全组织的网站。它大概会说：“几年之内，我们将拥有超人类智能的AI。我们努力确保这件事走上正轨。”没有人质疑ASI会发生，也没有人想阻止它，只是在它到来之前疯狂地争分夺秒地落实安全措施。

但如果AI没有“走对”的可能呢？那怎么办？你会冷静地改变信念，开始游说阻止建造ASI吗？大概不会。因为“不可避免性”和“极端功利主义可取性”相互锚定、相互支撑：“它会发生，如果走对，我们将拥有10^x个戴森球，每个容纳10^y个享乐优化的心智状态，以每秒10^z主观秒的速度运行，每秒体验10^xyz个享乐状态，用正效用铺满未来光锥的每一个四次方阿米。”

大多数人做的，是乐观地假设必然存在某种解决方案，某条通往美好未来的狭窄路径，然后开始寻找。而如果你相信ASI是不可避免的，这样做很可能是理性的：当选择是“解决不可能的问题，或者必死”时，质疑这个问题是否真的不可能，是理性的。

举个例子：如果AI在每个工作岗位上都胜过人类，就会出现大规模失业，而目前所有人提出的唯一严肃解决方案是UBI：政府对（规模更大、增长更快的）AGI经济征税，然后发放福利。这一点众所周知。但人们常常问：这种情况能稳定多久？毕竟，有了AGI，国家收入与人类劳动完全脱钩。既然人类不再是经济参与者，教育不再带来更多经济增长，那为什么还要投资教育？接着，国家会想：“为什么还要留着底层阶级？我们可以把他们的UBI用在更好的地方。他们能做什么，罢工吗？他们已经在经济上无用了。起义？当每个公民都有一个超级智能AI监视着他们的每一步、读取每一条短信、审视他们脸上每一个微表情时？不可能。”

那些认为ASI不可避免的AI安全人士如何回应这种情景？有时他们援引对齐：“AI会是对齐的，它们会管理世界，所以坏事不会发生。”但除此之外，他们会说：“这将是一个大问题，但AI是不可避免的，所以我们需要法律、制度和机制来约束国家，让民主在后AGI时代继续运转。”

这是错误的，因为这是一个无解的问题。谈论“法律”和“制度”只是在摆弄文件。世界上所有的羊皮纸都无法改变根本的物质现实：人类在经济上是不必要的、多余的。

那么，解决方案是什么？非常简单。如果ASI会导致毁灭，我们必须阻止超级智能AI的建造。一个人类在经济上无用的世界，是一个人类无能为力的世界，并且最终，将是一个没有人类的世界。因此：我们不能让这个世界成为现实。

但如果你坚信AI是不可避免的，如果那个前提稳稳地坐在你信念之网的中心附近，那么你甚至不会考虑或注意到这种可能性。于是你会把时间花在寻找根本不存在的解决方案上。

结论

行星沿轨道的运动是不可避免的。日出是不可避免的。守恒定律是不可避免的。人类行动不是不可避免的。