AI Pulse

OpenAI训练过程新增外部监控方,专盯涌现的异常行为

OpenAI训练过程新增外部监控方,专盯涌现的异常行为

今天,我们宣布与OpenAI开展一项嵌入式评估合作。Goodfire的研究人员将入驻OpenAI,利用我们的可解释性平台来监控训练过程、调试不良行为,并提升对齐效果。

作为此次评估的一部分,Goodfire研究人员将调查训练中的模型对齐与安全性问题。我们的研究人员将深度访问OpenAI的内部模型和系统。我们研究结果的主要受众将是OpenAI的研究人员,他们将利用我们的见解来提升模型安全性。随着合作的推进,我们还将发布相关的经验与发现。

我们与OpenAI的合作将聚焦于我们所谓的“模型取证”:在训练期间监控模型的内部信号,调试不良行为,并产出见解,使OpenAI研究人员能够改进模型对齐。我们的研究人员将使用我们的可解释性平台来监控OpenAI的训练运行,检测已知风险以及新出现的异常行为。

随着AI能力迅速提升和潜在风险不断增长,此类项目变得日益关键。我们期待与OpenAI合作,推动前沿领域的安全与对齐进展。

阅读OpenAI的完整公告:https://openai.com/index/our-first-phase-of-embedded-assessments/

关键事实

阅读原文
📚 相关主题 合作可解释性

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新