Ryan加入METR调查AI超级能力风险

我将加入METR，继续开展类似我们之前Hugging Face报告的调查工作。目前，大量与灾难性风险高度相关的、哪怕是最基础的AI开发信息都没有公开。

我之前对公开信息的价值持更怀疑的态度，但近期的事件改变了我的想法。如今，获取AI公司内部真实情况的可验证信息显得格外紧迫。

我们目前掌握的有限公开证据都符合这一可能性：即将到来的递归自我改进可能会极大加速能力进展，进而有可能在6个月到1年内带来远超人类水平的通用智能。如果这种情况发生，出现最坏结果的风险也会相应变大。

如果有更多可验证的公开信息，这种关于极端结果的不确定性就可以大幅消除：我们要么能就短期风险达成更多共识，要么能发现这类极端结果在短期内发生的可能性更低。

除了AI能力和起飞之外，AI公司的对齐、安全、控制以及与风险相关的内部流程，公开证据也同样非常有限。这导致我们很难准确判断这些关键领域在短期内的发展好坏。

（METR计划至少在初期只聚焦于能力/起飞、对齐和控制领域；我希望其他团队能覆盖安全、内部流程及其他重要领域。）

虽然我不再效力于Redwood，但我认为他们正在做的工作非常重要；我对Redwood持续在技术缓解措施研发以及更好地公开解读与风险相关证据方面做出贡献感到高兴。