一位乐观派开发者：我为何成了AI末日论者

如果你在Twitter上关注我，或者读过这个博客，你会注意到我从对AI总体乐观和兴奋，变成了极度担忧。我想我应该解释一下我改变想法的原因。这篇文章的每一节都是关于我观点发生转变的某个AI方面。我首先解释我之前相信什么，为什么相信，然后解释这些信念为何改变。

经济学

自动化一直是有益的。我们已经自动化了1790年人们所做的99%的工作，结果并不是大规模失业，而是我们更富有、更健康、受教育程度更高，拥有更多闲暇等等。我有一种模糊的归纳式想法：虽然我无法预测AGI之后会出现什么工作，但总会有对做某事的需求。退一步说，后AGI世界更高得多的经济增长意味着人类的生态位，虽然在绝对规模上很小，但可能比今天的经济还要大。

这也许仍然是事实。或者这显示出我缺乏想象力。如果AI的发展让我们与AI之间形成持久的互补性，那么在后AGI未来我们可能仍然有工作。但如果AI变得真正通用，即AGI中的'G“，并且在此基础上比人类聪明得多、快得多、便宜得多，那么我们可能就没有什么事可做了，只能靠UBI生活。

人们谈论UBI时，通常会担心没有工作的世界中的意义问题。我从来没有这种担心。去年我处于”快乐失业“状态时，我花时间读书、写代码、和朋友一起玩。如果未来是一个由UBI资助的无限假期，我知道我会做什么。”在奇点之前，读书、办家庭派对；在奇点之后，等等等等。“

但后来我开始思考AGI的政治后果，并开始写这方面内容：

”没有人能逃离永久下等阶级“：如果人类在经济上无用，国家就不需要他们。为什么要向既没有经济权力也没有政治权力的人支付UBI？

”当未来不再需要我们“：工厂工人可以破坏机器，卡车司机可以瘫痪物流。但如果人类在经济上无用，人们就无法通过撤回自己对经济秩序的贡献来否决这一政治秩序。而如果AI打仗，那么国家就可以任意专制。

”没有数学家的数学“：大多数关于人类”上移一层工作“的论证都会失败，因为AI也能做那些工作。

”我们的仆人将为我们做这件事“：即使是那些我们认为人类独有的工作，我们可能也更愿意让机器去做。

对齐

我曾希望对齐问题会变成一个普通的工程问题，我们通过经验性的实验和调查来解决，就像其他所有问题一样。早期的大语言模型并不是像斯坦尼斯瓦夫·莱姆小说里那样难以理解的异类心智，而是极其人性化的，这很有帮助。很难不对它们进行拟人化。大语言模型中庞大的无监督学习核心对人类道德的理解很不错：你可以和它谈论道德，它会用雄辩、详尽的方式解释为什么某事在某种道德体系下是”好“或”坏“。而且，因为能力较弱，这些失败非常微小。2022年的ChatGPT最坏能做什么呢？

大约从2024年开始，强化学习成为推动前沿的主要技术。而强化学习代理的行为恰好符合尤德科夫斯基所说的那样。因此，能力显著提高，但模型变得更难理解（字面上：它们的文字越来越难懂），而且随着RL为了追求奖励而搅乱它们的”大脑“，它们也越来越不对齐。严重不对齐的事件更频繁，后果更严重。很明显，AI能力的发展远远、远远快于我们控制甚至理解它们的能力。

控制

我曾经认为——或者更确切地说，我隐晦地相信——人们会希望保持对AI的控制。如果我们想保持控制，并解决对齐问题，那么我们就会保持控制。就这么简单。但最近我开始想：不，我们很可能会把控制权交给AI。

弱化版的能力丧失论类似于囚徒困境：个人/公司/政体把更多权力交给AI会胜过那些不这样做的对手，所以存在走向能力丧失的竞争压力。这很容易相信。

强化版的能力丧失论是：AI将如此聪明、博学、讨人喜欢、有道德等等，以至于我们会心甘情愿地把权力交给它们。我们会想，”它们能比我们做得更好“，而且我们是对的。相信这一点需要你对人类对自主权的渴望与物质考量之间的关系持一定的犬儒态度。但是，在过去几个月里，我变得对此更加犬儒了。

这不是一个突然的”哦，糟糕“的顿悟，而是一个缓慢、渐进的过程，一点点微小证据逐步累积，每一条都稍稍指向能力丧失的方向。

写作

我认为AI写作的泛滥，就是能力丧失的证据。

早期，我开始读一篇博客文章，发现它是AI垃圾。我打开一个看起来有趣的GitHub项目的链接，README是垃圾。我收到一个针对我某个项目的pull request，代码是垃圾。你读主流报纸上的文章，它们由AI撰写。那只是令人沮丧。

然后情况变得更糟。我读了一篇反对在数学中使用LLM的论文——而那篇论文是AI垃圾。我审阅了一整本关于后AGI世界的书，它也是AI垃圾。我读到某个会议开始使用Pangram来过滤大量AI生成的投稿，我还读到一条来自一位大学教授的推文——一位大学教授，还是用自己的名字——为使用AI写论文辩护。

我不认为用AI写作可以类比计算器、搜索引擎或其他类似的东西。你能自动化的事物是有限的。一旦你自动化了写作，就没有更高阶的活动可以移过去了。人们认为”想法是我的，写作是AI的“，也就是说，他们给AI一份杂乱无章的要点列表，AI把它润色成博客文章、论文或别的什么。他们认为这一步是”纯粹的写作“，而他们构建要点是”思考“。但他们错了，因为写作就是思考。因此，通过让AI写作，你实际上放弃了大部分构成思考的东西。

软件工程

Claude Code发布一年多一点。在这么短的时间里，软件工程已经完全变了样。从物质层面讲，它可能是积极的：生产率更高，尽管代价是代码库更混乱。从社会层面讲，这是一场灾难。

关于软件工程的讨论变得更蠢了。就像业内每个人都掉了30个IQ点。人们过去谈论编译器、类型系统、逻辑。现在他们谈论”提示'、“脚手架”、“循环”。讨论变得更狭窄、更肤浅、更重复。“代理式脚手架”这种词我听到一定次数就会发疯。

然后是人力资本形成的损失：没有什么可学的了。提示并不是一种技能，至少比软件工程浅薄得多。工作的工具性维度有所改善——人们每单位努力可以获得更多产出——但工作中关于积累人力资本的维度已经崩塌。也许这是理性的。何必学编程呢？计算机可以为我们做这些。因此，为了成为优秀程序员而必须练习的那种严谨、系统的思维：全都消失了。机器可以代替我们理性。我们只需跟着感觉走。

听命于AI

你最近做出的重大人生决定，有多少是在没有至少咨询AI的情况下做的？你遇到过多少人把ChatGPT当作神谕？而这是今天，在AI还有许多局限（没有在线学习、难以阅读的文字、幻觉）的情况下。如果人们把今天缺陷明显的AI当作神谕，那么2030年、2035年、2040年会糟糕多少？

人们过去在网上争论，互相攻击，生气。那不好，但至少是人性的。现在他们只是回复ChatGPT的截图，“驳斥”对方说的话，却完全不在乎那种驳斥是否正确。所以我们甚至不再在网上互相攻击了。如果我们连恶习都要自动化，那还剩下什么？

停滞

这其实不是我观点发生改变的领域。相反，这是当初让我对AI乐观的原因之一。

我出生于1994年，所以我的大部分人生都处于大停滞之中。青少年时，我读过《创造发动机》《钻石时代》《猎户座之臂》；我梦想着我们有一天会拥有的所有神奇技术，以及它们将为我们打开的可能性。然而，这一切都感觉无比遥远。近未来是更薄的屏幕和更便宜的太阳能电池板；而遥远的未来是分子制造、戴森球、意识上传和星际旅行，你根本看不到其中任何一样，除非你参加人体冷冻并成功复活。

在LLM出现之前，近未来有什么值得兴奋的？太阳能？自动驾驶汽车？能源转型？真是可笑。当AI登场时，我一生中第一次感到，我梦想中的未来说不定触手可及，那感觉令人兴奋、迫近，而不是那种由手机、应用、企业孟菲斯风格和受控衰退构成的可怕单调。

我经常想：如果GPT-3没有成功会怎样？在这个另类的2026年里，我们还有什么值得期待？