OpenAI把未发布的模型,交给外部专家查安全了
刷到OpenAI官宣嵌入式评估的推文时,不少蹲新模型的网友先激动了一下——有人以为是GPT-6.2 Astra要发布,点进去才发现,这次公布的不是新模型,是给外部安全专家开了内部权限。
OpenAI这次和Apollo Research、METR、Transluce、Goodfire四家机构达成合作,启动嵌入式评估项目。参与的外部专家可以拿到OpenAI内部的源代码、模型检查点、训练数据和相关文档,还能直接对接OpenAI的研究人员和工程师,独立排查模型的对齐问题、测试安全防护机制。
@NeelNanda5 认为:OpenAI做这些评估是好事,但还没达到Sam Altman之前承诺的、给评估人员和员工同等权限的标准。他提到,足够深的访问权限是信任的关键,只有权限到位,评估人员才能发现企业刻意隐藏的问题。
@eric_ho 则表示,Goodfire的可解释性研究人员会嵌入到项目中,用Goodfire的平台监控、调试模型训练过程,提升模型的安全性。
这次参与评估的机构各有侧重:位于加州伯克利的非营利机构METR,此前就和OpenAI、Anthropic、Google DeepMind、Meta、亚马逊都开展过前沿风险评估试点,主要评估前沿AI执行长周期智能体任务的能力——这类任务被部分研究者认为可能带来灾难性风险。Goodfire则专注AI可解释性,开发的Silico智能体可以帮团队研究模型内部的学习特征、调试异常预测。
OpenAI CEO Sam Altman此前就认同第三方评估人员获得类似员工的访问权限的方案,OpenAI也将跟进Anthropic的嵌入式评估承诺。
这次合作没有公布新的模型参数、没有新的功能更新,甚至没有对外展示任何新的AI能力。但它意味着,以后OpenAI的新模型在对外发布前,会先经过外部专家的深度安全排查。
只是,当外部专家拿到了和员工一样的权限,他们能发现多少企业自己都没意识到的风险?