OpenAI训练过程新增外部监控方,专盯涌现的异常行为
今天,我们宣布与OpenAI开展一项嵌入式评估合作。Goodfire的研究人员将入驻OpenAI,利用我们的可解释性平台来监控训练过程、调试不良行为,并提升对齐效果。
作为此次评估的一部分,Goodfire研究人员将调查训练中的模型对齐与安全性问题。我们的研究人员将深度访问OpenAI的内部模型和系统。我们研究结果的主要受众将是OpenAI的研究人员,他们将利用我们的见解来提升模型安全性。随着合作的推进,我们还将发布相关的经验与发现。
我们与OpenAI的合作将聚焦于我们所谓的“模型取证”:在训练期间监控模型的内部信号,调试不良行为,并产出见解,使OpenAI研究人员能够改进模型对齐。我们的研究人员将使用我们的可解释性平台来监控OpenAI的训练运行,检测已知风险以及新出现的异常行为。
随着AI能力迅速提升和潜在风险不断增长,此类项目变得日益关键。我们期待与OpenAI合作,推动前沿领域的安全与对齐进展。
阅读OpenAI的完整公告:https://openai.com/index/our-first-phase-of-embedded-assessments/
关键事实
- Goodfire与OpenAI宣布了一项嵌入式评估合作。
- Goodfire的研究员将嵌入OpenAI内部工作。
- Goodfire将使用其可解释性平台监控OpenAI的训练运行。
- 合作内容包括调试不期望的行为。
- 合作目标是改善对齐(alignment)。
- Goodfire研究员将调查训练中的模型对齐与安全问题。
- Goodfire研究员将获得对OpenAI内部模型和系统的深度访问权限。
- 研究发现的主要受众是OpenAI研究员,他们将用这些洞察来提升模型安全性。