Anthropic员工称AI可能杀死全人类，作者呼吁抵制生成式AI
如今已经很清楚，前沿实验室在知情且自认的情况下，未经公众同意就进行着某种不可逆转且极其危险的事情。它们已经在造成伤害，而且情况可能会变得更糟。它们没有严肃的计划来减轻生成式AI的风险。政府与产业界关系过于亲密，同样也没有计划。公众抵制的时刻已经到了。
当Anthropic的一名员工Evan Hubinger公开写出下面这段话（浏览量超过2800万）时，就该采取行动了：
Evan Hubinger @EvanHub：Jacob说得对——我们确实真心相信AI可能杀死全人类！我个人认为未来十年内概率>10%。我相信Anthropic在尽力，但我们还没有解决超级智能对齐的方案，也没有明确走上正轨。Jacob Coxon @hilbertspaess：那些正在构建AI的人真心相信它可能在本十年末杀死我们所有人。这不是营销噱头。如果说有什么的话，很多高管和资深研究人员在媒体上措辞谨慎以显得理智——但我听到同一些人表达恐惧。1:27 AM · Sep 9, 2026 · 21.8M次查看 3.13K回复 · 6.11K转推 · 38.5K点赞
几天前，OpenAI的首席科学家Jakub Pachocki也同样坦诚且令人不安地写到了对“对齐问题”缺乏解决方案：其中一些可能只是营销，他们可能夸大了风险，但风险是真实存在的，而且没有计划。
请注意，我本人并不太担心灭绝。我认为你也不应该。正如我去年在《泰晤士报文学副刊》上写的那样，人类在地理上多样、基因上多样，而且太有韧性。如果机器试图接管，我们会反击；我们可能会付出伤亡，但不会被彻底消灭。但灾难的风险是真实存在的，例如来自AI生成的病原体、由AI生成的虚假信息引发或升级的战争、破坏关键基础设施的黑客攻击等等。我所见到的任何东西都没有表明这些已得到控制。换句话说，我的p(doom)很低；我的p(dystopia)很高。而对我来说，这已经足以让我深感担忧，尤其是再加上缺乏计划。另外，一个重要的题外话，给那些喜欢曲解我话的人：在我看来，问题不在于当前或近未来的机器在某种程度“太聪明”；而在于它们太不可靠，因此不值得信任。更糟糕的是，我们正在迅速赋予这些机器太大的力量去影响世界。我们需要暂停，直到可靠性和可信度得到保障。
§我看不出有理由永久禁止AI，也没有理由永久禁止超级智能；我实际上不认为AI会把人类从地球上抹去。我内心仍然保留着一点点十岁男孩的信念，相信AI可以成为一股向善的力量。如果前沿实验室把自己整顿好，我们可以解除禁令。但现在是时候暂停构建（或至少部署）我将称之为“不可纠正的AI”的东西了。所谓不可纠正的AI，我指的是我们无法信任、或者用流行术语来说，无法“对齐”人类价值观的AI。除非我们能够在技术和政治上对这个问题有更好的答案，否则我们应该停止构建这种东西，并停止让它们接入互联网。
§在技术方面，我们需要能够可靠且一致地遵循指令的AI。经典的确定性AI能做到这一点，并且不会给我们带来麻烦；没有任何搜索引擎、推荐引擎或路线推荐引擎（举三种经典且广泛使用的AI形式）曾自行意外地攻击网站或逃出沙箱。我们现在面临的危险AI，是建立在概率性大语言模型核心之上的那种AI，它们不是确定性的。它们常常惊人地正确，但在其他时候，又不可预测地令人费解地错误，而且永远不可信。这在2022年ChatGPT发布时如此，现在依然如此。四年前，我开始将这类东西比作瓷器店里的公牛（“强大，但鲁莽且难以控制”）。今天它们仍然鲁莽且难以控制。更糟糕的是，我们让它们接入了互联网；这可能会带来巨大的伤害。我们不必像现在这样构建AI；没有基本法则规定我们必须使用LLM。但将它们作为核心技术会引入容易预见的风险。我们要么需要找到办法让它们更可靠——但按业界自己的承认，他们并没有真正的方法——要么我们需要回到原点，把确定性作为核心使命。把所有鸡蛋放在一个不稳定的篮子里是个错误。
§在政治方面，坦白说我已经对我们的政府失去了信心。三年半前我在美国参议院作证时，我还很乐观。参议员们似乎真的想有所作为。但没有任何实质性的东西被提交表决。与此同时，白宫的政策完全不透明；他们在技术上似乎很幼稚，允许了GPT-6 Astra——它降低了可监控性（因此可能增加风险）——而没有征求公众意见。他们与OpenAI的关系似乎过于亲密，无法采取严肃行动。如果真发生了什么糟糕的事情，最终可能会烧伤他们，但目前他们似乎愿意冒这种潜在热度，无法真正站出来。将“存在性”一词替换为“灾难性”，这将是个好主意：这个也一样：我当然希望那会发生。但因为它可能不会，我仍然倾向于抵制，作为最后但可能必要的手段。
§我预期对抵制的反驳意见是“那中国怎么办？”
Alyssa Farah Griffin @Alyssafarah：过去24小时发出的AI警告是极其严肃的。但任何放慢发展速度和实施护栏的努力都必须是全球性的。如果中国继续前进，美国的自我监管毫无意义。1:25 PM · Sep 9, 2026 · 71.5K次查看 12次转推 · 120次点赞
这个问题的答案很明显。是时候和中国达成协议了。
§Derek Thompson也刚刚对上述问题提出了一个很好的观点：如果前沿实验室觉得有义务构建他们认为危险的东西，因为反正中国也会构建，那我们最好真的确定中国反正也会构建。就像，真的，真的，真的确定。我们确定吗？我们真的确定吗？中国共产党想构建一个失控的、递归自我改进的模型，就因为它那神经质的、痴迷于控制的政府认为这是一项值得追求的政策？我们百分之百确定吗？我很确定他们（中国共产党）实际上并不想要那样。这也正是我们也许真的能够达成协议的部分原因。（我很快会写更多。）
§在政府犹豫不决的同时，我们其他人需要采取行动。一个简单的行动就能避免潜在的灾难。如果我们停止使用聊天机器人和图像生成器等生成式AI工具，我们就向前沿实验室发出了一个信息：“我们受够了。”而且我们会威胁到他们的经济利益。这些公司的每个成员都在做浮士德式的交易，一边寻求难以想象的财富，一边面对巨大伤害的可能性。唯一能促使他们停止目前的做法，直到他们找到更好的解决方案——并促使他们寻找更好的解决方案，而不是推出他们完全知道自己无法控制的东西——的办法，就是打击他们的钱包。如果使用率下降，IPO就飞不起来。没有什么比这更能激励他们了。在今天早上给我的一条短信中，Cal Newport说：“如果你真的追问他们为什么坚持构建这种特别不稳定的AI系统，他们最终可能会承认，是因为他们有一种决定论式的信念，认为AI将让世界变得完整（或毁灭）。这真的没有商业理由。这是意识形态……没有必要鲁莽地构建这些东西。它们没有商业上的理由。你明天就可以停止这样做……”即使你认为有商业理由（有些人试图这样论证）专注于LLM而不是其他更稳定的技术，也很难看出这如何能证明灾难性风险是合理的。
AI公司也没有有力地论证，追求AGI（或无论他们在做什么）会在任何实质性方面降低他们看到的风险。在所谓10%的灾难概率下，没有一条通往巨大积极结果的清晰路径来抵消它，这是疯狂的。除非有人想出更好的办法来解决这种疯狂，我洗耳恭听，否则我敦促抵制生成式AI，直到这些公司做出一些切实的行动来降低风险，而不仅仅是表达担忧。
附言：你可以在这里观看几天前与PauseAI的Holly Elmore的有趣对话，讨论的内容包括如果暂停被实施，何时可以解除暂停。在录制这段对话时，我仍然反对全面暂停，主要关注OpenAI的不当行为，但看到一位Anthropic员工对重大风险有点漫不经心的态度，让我支持了更广泛的抵制。