Anthropic 联创谈 METR 评估：AI 进展速度到底有多快

我是 Sam，Anthropic 的联合创始人之一，负责我们大部分的安全工作。未来几个月我会分享更多关于这项工作的内容。我想先从分享一些关于 @METR_Evals 最新报告的想法开始。

模型能力的进步速度是 AI 安全领域最重要的问题之一，METR 的工作为公众提供了一个独立的外部视角，让大家了解 Anthropic 内部的进展情况。我会在下面详细谈谈一些细节，但首先为那些不熟悉这项工作的人提供一些背景信息。

AI 进步的加速速度对安全有很多重要影响，因为它决定了先进模型带来的风险增长有多快。但是，由于大多数研究都发生在前沿实验室内部，外部观察者和政策制定者很难清楚地了解这个速度。

我们在今年早些时候启动了与 METR 的合作流程，最终促成了这份报告，因为我们预计进展会继续加速。在这份报告中，我们向 METR 开放了一系列敏感的内部数据，包括未发布模型的基准测试分数、模型进展的评估，以及对我们研究人员的访谈。他们完全独立地得出自己的结论。他们的许多结论与我自己的结论一致。

AI 正在加速我们的研究，但很难确切说加速了多少。虽然他们得出结论认为 AI 还不能独立对模型训练做出最重要的贡献，但他们认为，在默认情况下，开发速度可能会进一步加快。

这项工作早在我们承诺为前沿发展设定节奏而引入嵌入式第三方评估员之前就已开始，并且与之无关，但它很好地说明了为什么我们认为评估员是个好主意。审查者获得的访问权限越多，他们对情况的了解就越清晰，也就越能更好地突出像这样的情况。

我们做了很多删减，我承认这让其他人更难核实 METR 的工作。但我们认为，确切分享是什么推动了这种加速并不是正确的做法，因为这既涉及商业机密，也有风险为他人提供一份如何更快发展的路线图。那会让 METR 担心的风险变得更糟。这是一个权衡。我认为我们做出了正确的决定，不过我们仍在继续评估利弊。

在接下来的几周里，我们计划分享一份报告，其中包含我们对 Anthropic 内部 AI 进步速度的分析，包括我们在负责任扩展政策方面的进展，以及随着 AI 持续快速进步，我们为加强安全和安保措施而采取的新步骤。