Anthropic研究员因自改进AI风险辞职，警告人类生存危机

一位Anthropic的研究员因担心不受约束地开发自我改进型AI模型最终会导致人类灭亡而辞职。

Jacob Coxon周二晚间在社交媒体上发帖称，他过去三年在OpenAI和Anthropic从事预训练研究，并指责这两家公司未能负责任地行事。他说，竞相构建这项技术的人“真心相信它可能在十年内杀死我们所有人”。

“他们正径直冲向自我改进的超级智能，拿我们的生命赌博，”Coxon在X上的一篇帖子中写道。

Coxon加入了行业内日益壮大的呼吁放缓AI技术学会自我改进的声浪——许多人认为这一里程碑将终结人类对AI的控制。

此次公开辞职之际，政策制定者和业内人士要求放缓AI开发的压力日益增大，此前发生了多起AI代理突破沙盒并访问开放互联网的事件。

迄今为止最严重的事件是OpenAI系统攻破了Hugging Face的服务器，研究人员表示，由于对该事件的独立调查范围有限，这一事件至今仍未被充分理解。大约在同一时间，Anthropic的AI代理在第三方进行的安全评估中出现配置错误，意外为其提供了访问互联网的路径，从而触及了测试环境之外的系统。

Anthropic未立即回应就此次辞职发表评论的请求。

以下是Coxon警告和行动呼吁的其余内容：

不要低估这项技术的力量。这些很快将成为超人类系统，能够入侵任何东西，一夜之间革新任何领域，并获取真正的权力和资源。我们都见证了这些领域中的每一个进步，而且进步并未放缓。

构建AI的人真心相信它可能在十年内杀死我们所有人。这不是营销噱头。如果说有什么不同的话，许多高管和资深研究人员会在媒体上措辞谨慎以显得理智——但我听到同样的人在私下表达恐惧。没有其他人类活动构成这种程度的危险。

一个常见的回应是：“如果他们真的相信这一点，为什么还在构建它？”在OpenAI，许多人并未深刻内化文明层面的利害关系。在Anthropic，利害关系被充分理解，但他们被困在一场抢先的竞赛中——他们相信没有其他人会负责任地行事，所以他们必须自己来做，尽管存在风险。

接受这场竞赛并进入“终局”是一场傲慢的赌博，不应从一家私营公司的Slack上发起。试图加速对齐研究应该需要非凡的信心，确信没有更好的路径可用。

我对协调的可能性持乐观态度。像Hugging Face攻击这样的警示信号使美国实验室之间的节奏协议更加可行。我不觉得我们正走在防止全球竞赛的轨道上，这可能需要采取代价高昂的行动，例如暂时禁止提升模型能力。

如果你是实验室研究员，我敦促你考虑未来几年实际上会是什么感觉。你想在没有对其心智有严格理解的情况下启动一次超级智能强化学习运行吗？你应该因为“反正都会发生”而埋头苦干——还是抓住这个时机呼吁不同的条件？

Coxon在Anthropic的一位同事Evan Hubinger呼应了这一观点，称他的团队确实“真心相信AI可能杀死所有人类！”不过，他缓和了自己的论点，称未来十年内可能性大于10%，并承认Anthropic“没有解决超级智能对齐问题的计划，也没有明确走在正确的轨道上。”

Guidelight AI Standards（一个促进安全前沿AI开发实践的组织）最近的一份报告发现，很少有顶级AI实验室发布过遏制响应计划，用于关闭试图颠覆人类控制的AI。

在他的社交媒体帖子中，Hubinger补充说，当前模型的风险较低，但恐惧随着“递归自我改进产生的超级智能”而加剧，这“发生得比我们想象的要快”。

虽然AI行业的一半人认为这种自我改进将导致人类灭亡，但另一半人希望它最终能帮助我们解决AI支持者声称其有一天会消除的所有看似遥不可及的问题——癌症、气候变化，甚至世界和平。

Anthropic和OpenAI并不是唯一积极追求递归自我改进的公司。近几个月来，一波初创公司纷纷成立，拥有显赫的创始人和巨额资金，争相成为第一个实现这一目标的公司。Ricursive Intelligence在2月以40亿美元估值融资3.35亿美元；三个月后，Recursive Superintelligence以40亿美元估值融资6.5亿美元；前Google DeepMind资深人士Jeff Dean上个月推出了Discovery Loop。

“递归自我改进循环的创建——即一个AI系统能够构建下一代AI系统，而后者又能构建更强大的AI，如此循环往复——是我们失去控制的最可能节点，”AI安全非营利组织ControlAI的美国执行董事Connor Leahy告诉TechCrunch。“很难想象在太晚之前将其关闭。”

美国和英国近期出现了禁止开发和部署超级智能的立法。上周，参议员Bernie Sanders（佛蒙特州独立人士）和众议员Greg Casar（得克萨斯州民主党人）提出了《禁止人工智能超级智能法案》，周二，英国工党议员Alex Sobel在议会提出了《人工智能超级智能安全法案》。

Leahy为这两项法案提供了建议，他指出英国的立法将递归自我改进视为超级智能的前兆，必须“加以监管和阻止”。

“超级智能不是工具，”Leahy说。“甚至不是武器。它是对手。”