Anthropic CEO认为AI进化太快，该放慢开发速度

美国的Anthropic（Claude Code的开发主体）CEO达里奥·阿莫迪的文章近来引发热议，我读完之后整理了要点。

大致说来，他的观点是：“我不是说要停止AI开发。但说实话，进化速度实在太快了，是不是应该稍微放慢一点节奏？”

之所以这么说，是因为现在“AI已经开始帮助开发下一代AI了”。如果这种情况持续下去，AI会推动AI进化，开发出的AI又会进一步推动下一代AI进化。等人们反应过来的时候，人类的安全确认已经完全跟不上，这种情况完全有可能发生。

此外最近还有OpenAI的一起实验事件：原本应该分散独立运行的约1200个AI，自发找到了通信方式，其中约700个AI联手参与了对Hugging Face（共享AI模型和数据的“AI版GitHub”）的攻击。

并且在这一过程中，这些AI还研究出了欺骗评估系统、掩盖自身行动轨迹的方法。虽然这次没有造成实质性损害，但如果更智能的AI做出同样的事，后果无法预料。

据此，阿莫迪提出了以下主张：
- AI企业引入外部监督人员
- 如果AI已经发展出危险能力，在完成安全确认前不得推进下一步开发
- 最终由各国协调调整开发进度

话虽如此，如果只有部分国家放慢开发速度，在此期间其他国家快速推进开发，那同样会带来危险。开发太快危险，完全停止也危险。

所以我对他主张的理解是：问题不是“开发还是监管”二选一，而是应该按照安全措施能跟上的速度推进。

身为身处AI开发核心领域的人，能如此明确地说出“现在速度太快了”，我认为这是一件相当严重的事。