AI实验室拼递归自我提升，可能先把自己商业模式跑没了

当 AI 实验室竞相追逐递归自我改进（Recursive Self Improvement）时，他们真正奔向的可能是递归自我灭绝（Recursive Self Extinction）——只不过灭绝的是他们的商业模式。以下是我的推理过程。

1. 可验证任务的进步仍在持续。尤其是，提升现有能力的成本效率是一项高度可验证的任务。过去几年，同等能力的单位成本每年至少下降 10 倍。我认为这种进步还会持续几年，甚至随着各实验室在追求 RSI 的过程中越来越多地将 AI 用于 AI 研究而加速。效率提升当然有上限，但我认为我们还远未接近那个上限。

2. 大多数不可验证任务的进展仍然困难得令人沮丧。AI 继承了同样的局限（模糊的成功标准、缓慢且嘈杂的反馈），这些局限同样限制了人类在从写作到治理等各类任务上的表现。优化范式通常不会在此类任务上带来超人能力，因为你优化的任何代理指标都会遭遇古德哈特定律。例如，我最近指出过，过度优化可以解释 Claude 此前过于密集和华丽的写作风格，而这种风格后来已被回调。

3. RSI 最终是狭窄的。上述两点的一个后果是——即使某种形式的 RSI 得以实现，它也会在某些维度（效率、可验证任务）上爆发式增长，却无法产出任何真正意义上的超级智能，也无法自动化经济中的大范围工作岗位。

4. 不止一家实验室停留在前沿。这意味着市场将保持竞争态势，开发者无法收取高利润来弥补快速下跌的推理价格。在我看来，任何允许高利润的算力稀缺都是暂时的。我还认为，大多数创新很可能会以一定滞后性持续进入开放权重模型，因此开放权重模型在推理成本上与闭源模型持平，或仅略贵一些。请注意，效率技巧和可验证能力的泄露速度远快于不可验证能力。蒸馏可能是原因之一，但仅仅知道某样东西可以提速 10 倍，往往就会对研究和创新产生聚焦效应。

5. 杰文斯悖论不是万能解药。如果上述几点成立，那么几乎没有什么应用会消耗如此多的 token，以至于能产生实验室估值所隐含的天文数字收入。我们谈论的是 token 数量年复一年地增长 10 倍，仅仅是为了在价格下跌的情况下维持收入不变。即便是像百万行级遗留代码库迁移这样如今体量巨大的任务，几年内也可能变得廉价。虽然会有新的应用出现，但不会多出几个数量级。至于不可验证任务，推理扩展很快就会遇到边际收益递减。最终你必须让人类参与到流程中，并对结果负责。在 token 上花更多钱并不能让客户逃避这一责任——只会让人工审核的瓶颈更加严重。

6. 那科学研究呢？科学是一个无尽的前沿，理论上，更多的 token 可能永远意味着更多的发现和发明。但研究的不幸之处在于，研究者无法捕获其所创造的价值，这正是它首先需要政府资助的原因。即便 AI 确实能催生伟大的科学创新，我也不认为 AI 公司会从中赚到很多钱。我认为他们目前投资 AI for Science，不是将其作为未来的收入来源，而是作为一种引流手段，因为他们想向公众展示 AI 可能对人类有益。

7. 唯一的逃生舱是“向上迁移技术栈”，我的意思是迅速从出售 token 转向类似企业软件的模式，这种模式依赖高转换成本、与工作流的深度集成，以及对核心业务系统的控制。在这种模式下，企业将购买“数字员工”或按解决方案付费（例如按已解决的支持工单计费），而不是按 token 付费，因此推理成本下降对 AI 公司来说是好事或中性的。而且开源模型也不再那么重要——Linux 免费并没有让大多数企业从 Windows 转走，因为他们付费买的是打磨、安心、支持和熟悉感，而不是代码本身。我认为这是各实验室成为可持续企业的最佳赌注（尽管潜在的锁定效应对他们的客户来说令人担忧！）。问题在于，实验室要到达那里还有许多障碍需要清除，尤其是他们的思维模式，而且他们冲向 RSI 的速度越快，留给自己完成这一转型的窗口就越短。纯 AI 实验室是离完成这一转型最远的，而在企业软件领域有悠久历史的 AI 公司则相对处于有利地位。

简而言之，冲向 RSI 的竞赛最终变成了一场消除实验室捕获其所创造价值的主要途径的竞赛——这与铁路、航空、光纤等许多过去的变革性技术的命运如出一辙。实验室的赌注是，RSI 会带来一种持久的、决定性的领先优势，从而摆脱商品化。我的观点是，有两种不同的改进循环被混为一谈了，而它们终将分道扬镳。效率改进循环会加速，但一个可能通向 AGI 或超级智能的更广泛改进循环，将需要越来越多的算力、人才、数据和真实世界反馈，而这些只能来自渐进式部署，而资助这一切的资金必须来自大规模的收入增长。而讽刺的是，第一个改进循环恰恰在破坏这种收入增长。

在我的推理链条中，我最不确定的前提是第 5 点——杰文斯悖论最终将无法继续补偿效率提升。几个月前，我还更相信 token 体量会持续、近乎无上限地增长，但我越想就越怀疑。

要更好地理解为什么我所列出的前提和结果至少是一种可能性：

- 我的《AI 作为普通技术》一文以及与 @sayashk 在我们的通讯上发表的后续文章
- 我在 ICML 的演讲，阐述了我对 RSI 将导致超级智能这一主张的怀疑
- Ramez Naam 对质疑智能爆炸前景的证据的回顾（@ramez）
- 我与 Akash Kapur（@akashkapur）合写的关于 AI 实验室是否会向上迁移技术栈的文章
- Nathan Lambert（@natolambert）的许多文章，例如《我预期会有快速进步，但不是通向通用超级智能》。