AI减速的呼吁者，也是减速的受益者
几天前，我写了一篇文章，谈到了我从未预料会看到的事情：人工智能领域一些最有影响力的人公开表示，也许我们走得太快了。我当时认为这个问题值得认真思考，现在依然如此。然而，自那以后，另一个问题变得无法忽视：如果我们决定AI竞赛需要减速，究竟是谁会被慢下来？
这个问题之所以重要，是因为那些警告AI发展速度过快的人并非无利害关系的旁观者。他们恰恰是在建造最先进系统、在算力和基础设施上花费惊人资金、争夺最优秀研究人员、竞相奔向下一代模型的人。这并不使他们的警告成为错误，但确实意味着我们应该审视这些警告背后的动机。Anthropic CEO Dario Amodei一直是最直言不讳的倡导者之一，主张前沿人工智能的发展应当放缓到足以让安全措施跟上的程度。他的警告不容忽视。他描述了一个未来：足够强大的AI智能体能够跨网络协调行动、实施复杂的网络攻击，并可能造成巨大的经济损失。然后，有趣的事情发生了。AI领域的其他重要人物也开始表达类似的担忧，包括Sam Altman、Elon Musk和Demis Hassabis。
我认真对待这些担忧，因为他们描述的许多风险恰恰是我所担心的风险。我职业生涯中相当一部分时间在与复杂系统打交道，我深知能力的发展可能远远快于我们理解所有故障模式的能力。再加上自主性、不可靠的通信、被篡改的传感器、糟糕的数据、网络入侵，以及可能没有足够时间进行干预的人类，我们有充分理由担心走得太快。
但Michael Burry提出了另一个同样值得审视的问题。他认为，呼吁放慢AI发展的声音是出于自身利益，因为倡导克制的公司已经处于竞赛的领先行列之中。如果发展放缓，站在队伍前列的人并不会突然失去他们已经取得的领先优势。这并不意味着Burry对他们的动机判断一定正确，我也不想妄自揣测这些发出警告的人心里在想什么。事实上，我怀疑他们中的许多人确实对自己正在建造的东西感到担忧。更有趣的可能性是，这两件事可以同时成立。安全担忧可以是合理的，而与此同时，所提出的解决方案也恰好保护了提出该方案的公司的竞争地位。
正是在这一点上，这变成了一个系统问题，而不仅仅是技术问题。
假设各国政府采取应对措施，要求在训练或部署最先进模型之前，完成极其昂贵的安全评估、许可认证、独立测试、安全要求、算力限制和监管审批。OpenAI、Anthropic、Google和xAI拥有庞大的财务资源、基础设施、专业人才以及与政府之间的既有关系。它们比那些试图成为下一个OpenAI的小型实验室更有能力消化这些要求。因此，我们可能会建立起一套旨在保护人类的监管体系，而它同时也围绕着已经处于行业领先地位的公司构筑了一条巨大的护城河。这样的监管也许能让AI更安全，但也会让有意义的竞争变得更加困难。这两种结果并不互斥，假装它们互斥是愚蠢的。
然后是中国，这让问题变得复杂得多。美国有正当的国家安全理由，希望限制中国获得最先进的芯片、制造技术以及其他在前沿AI领域竞争所需的能力。我完全理解这个论点。我也理解从北京的角度来看，这个局面是什么样子。美国公司在前沿AI领域建立起显著的领先优势。它们建造了庞大的计算基础设施，吸引了全球一些最优秀的研究人员，开发出越来越强大的模型。一旦这种优势存在，其中一些公司的领导者就开始警告说，进一步的发展正变得危险地快，每个人都应该考虑放慢速度。大约在同一时间，美国正致力于限制潜在竞争者获得缩小差距所需的技术。你不需要同意中国的立场，也能理解为什么中国可能会审视这种安排并得出结论：这远不止是关乎保护人类。
这让我们面临一个极其棘手的问题。如果美国放慢发展而中国继续加速，我们可能会制造出一个巨大的国家安全漏洞。如果中国放慢而美国继续加速，北京如果假设我们会自愿放弃由此产生的优势，那就太愚蠢了。如果美国各大AI公司都放慢速度，而新兴竞争者面临昂贵的新监管壁垒，那么这些竞争者完全有理由怀疑：安全是否已经成为一种维系现有等级秩序的便利手段。然而，如果没有人放慢速度——因为没有人信任其他人会放慢——我们就会继续朝着那些真正在建造这些系统的人所警告的、可能变得极其危险的能力一路狂奔。我们实际上创造了一个由GPU驱动的囚徒困境，只不过判断失误的后果可能远不止于谁拥有最有价值的科技公司。
当你听到这些假设情景现在已经走得多远时，这场对话变得近乎超现实。Sam Altman曾认真考虑过这样一个极端的思维实验：如果摧毁先进AI背后的计算基础设施确实是为了防止对人类的灾难性伤害所必需的，那么摧毁它就是正当的。他也明确表示，他并不预期这种情况会发生，这是一个重要的区分。即便如此，我们竟然在讨论某种熔化GPU的方案，这一事实本身就说明此刻有多么非同寻常。
我们正花费数千亿美元建造机器，因为我们相信它们可能帮助治愈疾病、加速科学发现、提高生产力，并解决人类世代以来苦苦挣扎的问题。建造这些机器的人一边相互竞赛，让它们变得更强大，一边警告说，这些能力最终可能变得足够危险，以至于竞赛本身需要放慢速度。在这场讨论的最极端边缘，我们在思考：人类是否有一天需要摧毁支撑这项技术的计算基础设施，以保护自己免受这项技术的伤害。
我们真的要全面进入《沙丘》模式了。
这个故事里埋着一部精彩的恐怖电影，只不过不幸的是，我们一边在写剧本，一边在搭建布景。我能体会其中的黑色幽默，但根本问题极其严肃，因为现在正在做出的决定可能不仅决定人工智能能做什么，还决定谁控制它，以及谁来定义什么构成可接受的风险。
正是在这一点上，我对把这件事完全交给公司自己感到不安。建造前沿AI的CEO和研究人员拥有我们迫切需要的专业知识，将他们排除在讨论之外是荒谬的。但技术专长并不带来主权。没有任何一位CEO、董事会或风险投资群体应该独立决定：对其他人造成灾难性伤害的可接受概率是什么。政府也不能自动解决这个问题。政府也有自身的动机。美国想保持对中国的领先。中国想赶上或超越美国。监管机构可能受到其所监管行业的影响。政治家对选举和政治压力做出回应。公司对市场和投资者做出回应。投资者对回报做出回应。没有人会不带利益坐到这张谈判桌前。这正是为什么我认为，我们需要对围绕AI治理所构建的架构极其谨慎。我们需要对能力和故障进行有意义的独立评估。我们需要足够的透明度，以了解模型何时真正跨越危险的阈值。我们需要国际沟通，因为如果我们的竞争对手只是继续加速，美国的放慢收效甚微。我们还需要确保，无论出现什么样的监管结构，都不会悄然变成一种机制，让今天的赢家阻止明天的竞争者进入这个领域。
我也拒绝这样一种观点：我们唯一的选择是猛踩刹车或者把油门踩到底。人工智能可能产生非凡的益处，而完全停止发展本身可能带来巨大的代价。科学发现可能被推迟。医学进步可能被错失。经济和国家安全优势可能被放弃。然而，鲁莽地向前冲刺可能会创造出我们尚不够了解、无法控制的能力。在这两个极端之间有一条负责任的道路，但找到它需要的是比简单接受任何一方保证多得多的怀疑精神。当建造某项技术的人告诉我它可能变得危险时，我会仔细倾听。当同一些人开始提议制定规则来规定谁可以继续建造它时，我会更加仔细地倾听。这不是因为我自动假设他们不诚实。而是因为动机很重要、意外后果很重要，而且系统很少只产生设计者原本意图的效果。
我们应该认真对待Altman、Amodei、Musk和Hassabis的警告。我们也应该认真对待Burry的质疑。然后，在我们接受任何减速措施、许可制度、出口限制或国际协议之前，我们应该问一个非常简单的问题：我们正在创建的体系，谁从中受益？
也许答案真的是人类。也许是美国。也许是目前处于竞赛领先地位的公司。很可能是三者的某种组合，而这并不自动意味着政策就是错的。它确实意味着，在我们把这些安排锁定到位之前，最好先弄清楚我们正在建造的是什么。放慢AI竞赛是一个问题。决定竞赛重新开始时每个人必须站在哪里，则完全是另一个问题。