AI Pulse

Anthropic给外部研究员员工权限,却否决不了他们的报告

Anthropic给外部研究员员工权限,却否决不了他们的报告

Anthropic 周四宣布,非营利机构 METR 的六名研究员获得员工级访问权限。他们可以独立评估 Anthropic 的模型、安全实践和风险管理。METR 专门测试前沿 AI 模型。Anthropic 把这比作银行监管机构在大型银行派驻常驻检查员。公司说,这么做是想对外公开负责,也想缩小评估者与公司自己对系统理解的差距。

六名研究员拿到 Anthropic 配的笔记本电脑、办公空间和内部工具权限。这些跟公司自己的风险评估团队用的工具差不多。Anthropic 鼓励员工把他们当同事,像跟做对齐风险研究的同事一样分享信息。

METR 会自己发布对 Anthropic 风险、事件和实践的评估。Anthropic 放弃了阻止发布的权利,否决不了报告。它只能要求删减,范围限死在几类事先划定的信息上。比如客户数据、律师-客户特权信息、模型架构信息。删掉什么也会被公开。METR 可以描述自己删了什么、删得是否合理,只要不透露被删内容。

这是 Anthropic 正在搭建的三层评估体系最顶层。METR 是目前唯一进到这一层的评估者。中层评估者拿到的信息更多,发布不用批准。底层像生物安全非营利组织 SecureBio,只做范围很窄的审查,发布要公司批准。

Anthropic CEO Dario Amodei 9 月写过一篇文章。他在里面提议,把外部评估者嵌进 AI 实验室,当作减缓技术发展的第一步。周四的公告兑现了这个承诺。OpenAI 随即承诺同样做法。两家公司连同 Google、Meta、Nvidia、xAI 已签署白宫协议,承诺独立审查。

METR 的报告多久发一次、评估结果会不会影响产品发布决策,目前都不清楚。OpenAI 的承诺还没公开执行细节,会不会跟进同样深度的访问模式,也没有公开信息。删减类别由 Anthropic 划定,能不能用来藏住关键信息,要等第一份报告出来才能判断。

关键事实

阅读原文
📚 相关主题 Anthropic

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新