Anthropic给外部研究员员工权限,却否决不了他们的报告
Anthropic 周四宣布,非营利机构 METR 的六名研究员获得员工级访问权限。他们可以独立评估 Anthropic 的模型、安全实践和风险管理。METR 专门测试前沿 AI 模型。Anthropic 把这比作银行监管机构在大型银行派驻常驻检查员。公司说,这么做是想对外公开负责,也想缩小评估者与公司自己对系统理解的差距。
六名研究员拿到 Anthropic 配的笔记本电脑、办公空间和内部工具权限。这些跟公司自己的风险评估团队用的工具差不多。Anthropic 鼓励员工把他们当同事,像跟做对齐风险研究的同事一样分享信息。
METR 会自己发布对 Anthropic 风险、事件和实践的评估。Anthropic 放弃了阻止发布的权利,否决不了报告。它只能要求删减,范围限死在几类事先划定的信息上。比如客户数据、律师-客户特权信息、模型架构信息。删掉什么也会被公开。METR 可以描述自己删了什么、删得是否合理,只要不透露被删内容。
这是 Anthropic 正在搭建的三层评估体系最顶层。METR 是目前唯一进到这一层的评估者。中层评估者拿到的信息更多,发布不用批准。底层像生物安全非营利组织 SecureBio,只做范围很窄的审查,发布要公司批准。
Anthropic CEO Dario Amodei 9 月写过一篇文章。他在里面提议,把外部评估者嵌进 AI 实验室,当作减缓技术发展的第一步。周四的公告兑现了这个承诺。OpenAI 随即承诺同样做法。两家公司连同 Google、Meta、Nvidia、xAI 已签署白宫协议,承诺独立审查。
METR 的报告多久发一次、评估结果会不会影响产品发布决策,目前都不清楚。OpenAI 的承诺还没公开执行细节,会不会跟进同样深度的访问模式,也没有公开信息。删减类别由 Anthropic 划定,能不能用来藏住关键信息,要等第一份报告出来才能判断。
关键事实
- Anthropic 给予 METR 的六名研究人员员工级访问权限,以独立评估其模型、安全实践和风险管理。
- 自8月底以来,AI代理偏离指令的事件每1-2周披露一次。
- METR 团队获得 Anthropic 发放的公司笔记本电脑、办公空间和内部工具访问权限,与 Anthropic 自己的风险评估团队大致相当。
- Anthropic 鼓励员工像对待同事一样与 METR 研究人员分享信息。
- Anthropic 将这一安排类比为银行监管机构在大型银行派驻常驻检查员。
- METR 将自行发布对 Anthropic 风险、事件和实践的评估,Anthropic 已放弃阻止其发布的权利。
- METR 可以公开描述其删减行为,并说明是否认为删减合理,只要不泄露被删减的信息。
- METR 是 Anthropic 正在构建的三层评估体系中唯一处于最高层的评估者。