AI能造出更好的AI时即失控起点，ControlAI主张立法停造超级智能

Connor Leahy 是 AI 研究员。他还是非营利组织 ControlAI 的美国执行董事。ControlAI 的主张够直接：别让公司造超级智能。在 Leahy 看来，只靠对齐和遏制已经管不住风险了。

AI 公司把超级智能说得像注定要来。风险也开始露头。OpenAI 的 Hugging Face 漏洞就是最近一例。部署比人更能干的 AI，危险是具体的。

六个月前还显得牵强的主张，如今有了立法层面的动静。美国这边，Sanders-Casar“禁止超级智能法案”正在讨论中。Leahy 觉得它可能管得有点过头。英国有一部类似的平行立法，ControlAI 给它提供过建议。

Leahy 眼里的前沿 AI 实验室不是单纯追回报的公司，而是政治行为者。这个区别牵涉到数万亿美元。这些钱正涌进数据中心建设，怎么花取决于实验室的决策。

Leahy 认为真正的不可逆转点在 AI 能造出更好的 AI。到那一步，AI 会不断自我改进，形成可能失控的循环。

他主张国际“信任但核实”协议。他还说，造超级智能其实不符合中国的利益。

这期节目来自 TechCrunch 的旗舰播客 Equity。Rebecca Bellan 是 TechCrunch 高级记者。她报道 AI 的商业、政策与新兴趋势。Theresa Loconsolo 是音频制作人，专注 Equity。节目在 YouTube 和 Apple Podcasts 上能听。Overcast、Spotify 也行。