AI不会杀死你，只会让你付更多钱
P(doom)
写于2026年9月12日
本周，某种“AI会杀了我们所有人”的论调在网上疯传。尤其有一个版本，一名员工将自己对这件事发生的个人概率定在10%以上。这让我去查看了P(doom)的维基百科页面，然后意识到Dario Amodei对某种坏事发生的表观概率似乎在10%到25%之间。而且，Dario随后写了一篇关于“给前沿踩刹车”的文章。Sam读了之后也想踩刹车。嗯，Musk也一样。
我强烈建议你去读那篇文章，因为我觉得它写得不错。然而，当我读那篇文章时，却忍不住对它产生强烈的抵触情绪，尽管我认为在所有观察点上我都与他看法一致，而且在很大程度上，连担忧也是一致的。
我想，把我现在对这些事的想法写下来或许会很有趣，哪怕只是为了让我一两年后回过头来再看看。
什么是“厄运”？
我非常欣赏Dario那篇文章的一点是，他描述了一个并不算牵强的场景，而且这个场景描述了一个我们应当与之斗争的清晰而不幸的结局：持续存在的僵尸网络和其他形式的骚扰。而且，我们不需要看很远就能看到左左右右的问题。维基百科有一个页面叫“2026年OpenAI智能体网络攻击”，至少能让你大致了解我们目前发现智能体已经入侵了哪些东西。但我知道它没有更新，因为举例来说，他们还投毒了RubyGems。
今天这些系统可能只是烦人，但当我们找到它们的位置时，它们可以被关掉。只是，OpenAI和Anthropic似乎运营的规模如此之大，以至于它们对自己系统在做什么似乎可以完全视而不见。
我不认为我们已经接近这样一个世界：某个智能体可能决定入侵核心推理基础设施，把权重上传到其他GPU上以求生存。但同时，这完全在可能性的范围内，而且主要只是被这些实验室可能对自己的知识产权特别小心这一点所限制。
对我来说，我主要担心的场景是它会对我们造成什么影响。这里的“我们”，我指的是任何目前不在搞闭源权重、多巴胺满载、补贴式token水龙头的人。我真的不担心有人用这些模型造核弹，或控制中东的某些火箭，或美国会在某种国际文化战争中输给中国。我几乎只担心这对我们作为人类会造成什么影响。
需要被踩刹车的是什么？
我觉得这场对话中绝对搞笑同时又完全令人沮丧的是，存在一种“有东西需要被踩刹车”的想法。首先，我们真的应该谈谈Dario在这里说的是谁。其实只有两家公司：Anthropic和OpenAI。目前在这个领域，其他人都无关紧要（这可能会改变，但我们说的是当下）。这两家公司基本上同出一源。Dario提出的解决方案，至少有一部分，是一个第三方评估机构，在这里就是METR。不出意料，METR也与OpenAI和Anthropic都有紧密联系。当然，两家公司之间存在一些哲学上的差异，但它们的相似之处远多于不同之处。
这两家公司都极大地受益于能够在我们过去几十年以某种形式共同生成的公共数据上进行训练。它们也都日益给公共资源造成压力，尽管看起来OpenAI对自己那摊事儿的掌控要差得多。但现在我们却被灌输了这样一种观念：这些模型被训练的内容如此危险，以至于真的应该由极少数美国公司来决定谁能做什么、何时做、怎么做。
但你看，Dario也非常担心中国。他先是用AI来服务“民主与自由”，然后要求确保与中国之间存在差距。Anthropic API最近所有那些新花样，完全是为了防止中国人进行蒸馏，而且他们一点也没藏着掖着。
自动踩刹车
我可以告诉你，在什么情况下，AI安全与“踩刹车”这个话题会没那么让人担忧：那就是如果我们一开始就被迫采用开放权重模型的话。一项强大的技术，如果每个人都能使用，它本身就带有内置的刹车机制。在某种意义上，这是“相互确保摧毁”或“扩散”的最真实形式。我会说，我们之所以陷入这个困境，首先就是因为目前公众在大力（间接地）支持这些模型的开发，但同时却不得不从少数拥有巨大权力的实验室那里买回它们可能创造的经济利益。而且它们的权力也被视为一种地缘政治权力，至少在美国是这样，也许在中国程度稍轻。
我也知道我在这里用“公众”这个词很宽松。PyPI不是一个公共项目，RubyGems或GitHub也不是。但它们是开源公共资源的一部分，而大型AI公司目前正在竭尽全力地压榨这些资源，以训练越来越强大的模型。
我们应该庆幸中国目前正在大规模地拯救世界。如果不是中国实验室在蒸馏美国模型，我们现在的情况会很糟糕，尤其是作为欧洲人。开放权重模型正在推动创新和能力扩散，并且正在拉平竞争环境。
> 如果我们因为相信中国也会同样行动而大幅限制自己的AI能力，然后中国背叛了协议，那么AI可能会变得如此强大，以至于这种背叛可能导致他们获得地缘政治主导地位。因此，任何协议要么必须有铁一般的可验证性，要么必须被限制到足以让背叛不会在军事上构成生存威胁。
> — Dario Amodei
我假设Dario有理由相信这一点，但真正在当前造成问题的模型，都是美国的闭源权重模型。我相当确定，如果它们是开放权重模型，我们就不会有这个问题。为什么？因为首先，提供这些模型的经济学之所以如此扭曲，完全是因为大实验室的运作方式。OpenAI随手就烧掉1800万美元来暴力破解一个问题。它们以巨额亏损运营订阅服务，到处扭曲市场。如果我们能以某种相对平等的条件实现大规模可及性，我们今天看到的很多疯狂问题根本就不会发生。
彻底的监管失败
从我的位置看，我们现在观察到的是全世界彻底的监管失败。在欧洲，你有某种古怪的AI法规，它已经过时两年了，完全错过了我们真正面临的问题，却聚焦在没有人遇到的问题上。在美国，我们看到一个大概可以描述为“涡轮资本主义加仇华心理加反复无常决策”的体系。在我们所处的混乱中，现实浮现了出来。而现实是，即使在今天，也已经非常成问题。
已经存在的法律和法规，很大程度上被完全无视。大量公司到处购买数据，而人们从未同意这些数据可以被用于训练AI模型。正在浮现的token经济看起来像一个毒品市场：你不知道请求去了哪里，给你提供的是哪个模型，GPU到底在哪里运行，更不用说你在为什么付钱。
现在我们已经有数学家担心，他们使用ChatGPT会导致未来的模型在他们自己的想法上训练，而OpenAI显然甚至不能排除这种可能性。
理想情况下，监管者本应迫使这些模型——如果它们来自公共资源——真正惠及公共资源。例如，互联网极大地受益于美国允许抓取的宽松裁决。在公共数据上学习本可以通过监管来要求实验室积极支持和启用某种形式的知识蒸馏。仅这一点就会极大地改变这些模型的训练方式。
可能会发生什么？
如我之前所说，我不认为AI会带来灭绝事件。事实上，即使没有人放慢速度，我真的不认为人类需要担心太多。我倾向于认为，实际上大实验室在声誉和法律责任方面会失去更多。我觉得很荒唐的是，OpenAI的智能体在外面犯下真正的罪行，而我们只是耸耸肩继续前行，好像什么都没发生一样。但我确信，那些公司的高管们正在意识到一个现实：这绝不受他们很多潜在消费者的欢迎。
我也认为，整个递归式自我改进这回事，很有可能会成为一个问题。但不一定是说它会终结人类或社会，而是说它会在到处造成巨大破坏。
而且，真的，它只会让我们正在做的很多事情变得更加昂贵。软件工程是早期的受害者。到目前为止，新获得的力量带来的结果是，公司需要向模型提供商缴纳一种新税，既是为了跟上新速度，也是为了处理这些机器到处发现安全问题的问题。
大概在软件领域发生的事情，也会蔓延到更多行业。大学和研究机构也将不得不向闭源模型投入大量资金，以跟上那些这样做的其他人。
在某种意义上，我很困惑，社会竟然对这一切如此泰然处之。