Anthropic 研究员承认超级智能失控风险无解

🚨Anthropic 内部好像真有点压不住了。昨天，做了三年大模型预训练、先后待过 OpenAI 和 Anthropic 的 @hilbertspaess 宣布从 @AnthropicAI 辞职。他说得非常狠：OpenAI 和 Anthropic 都没有负责任地行动，它们正在一路冲向能够自我改进的超级智能，拿所有人的生命下注。

结果几个小时后，又一位 Anthropic 研究员 @a_nnawang 公开站出来附和。她之前在 Google DeepMind 做 AGI Safety，现在在 Anthropic，而且还是 DeepMind AGI 安全方案的核心贡献者之一。她说，这种情绪在自己的同行中非常普遍。

更关键的是她后面这句话：目前还不存在一个可��的科学方案，可以解决递归自我改进 AI 带来的风险。这就有意思了。这已经不是某个离职员工突然悲观了。

Anthropic 现任 Alignment Science 负责人 Evan Hubinger 也公开承认，他们目前没有解决超级智能 Alignment 的方案，而且他自己认为未来十年 AI 导致大规模灭绝的概率超过 10%。与此同时，Anthropic 自己最近还专门发了一篇文章讨论 Recursive Self-Improvement，并承认 AI 已经越来越多地参与 AI 自身研发，最终可能走到「AI 自己开发下一代 AI」这一步。最魔幻的地方就在这里：做这件事的人，越来越相信这件事可能失控。

但所有人也都觉得，自己不能先停下来。