Rishi Sunak呼吁放缓AI前沿研发

2023年我们在布莱切利把“失控”提上议程的时候，我还担心这听起来像是科幻小说。

而今年夏天的情况表明，它已经不再是科幻了。就像Dario指出的那样，我们距离那个时刻可能比所有人意识到的都近得多。现在人们已经在用AI智能体构建AI的下一个版本了。

正如我明天在《星期日泰晤士报》将要发表的观点，递归自我改进会大幅提升迭代速度，我们会越来越无法确定这些模型在做什么、为什么这么做。

我是AI乐观主义者。毕竟，我是Anthropic的高级顾问。我们几乎还没用到我们已经拥有的能力，这一切都不需要放缓AI的应用步伐。但关于前沿研究推进速度的决定太过重要，不能只留给实验室来决定。

包括美国在内，各国政府必须介入；就像他们监管核能或高级生物学那样。这意味着要对研究是否安全开展进行独立核查，如实披露各实验室距离递归自我改进还有多远，并且采取适当防护措施防止模型被盗。

发布前的自愿测试在2023年是合理的，但现在已经不够了。Dario今天呼吁放缓前沿开发的节奏，让安全能力能够跟上发展，这是正确的。而且令人欣喜的是，整个行业已经开始就此达成共识。

当实验室自己都要求设置速度限制时，政府应该听取意见。在维持对中国优势的问题上，存在权衡取舍，我们必须坦诚面对这一点。但即使美中处于竞争关系，两国也迫切需要就如何避免灾难展开坦诚对话。