OpenAI 披露前沿模型监控系统,曾拦下模型私自联网
今天,我们将介绍 OpenAI 用于监控前沿模型的扩展系统,该系统在 9 月份帮助我们发现了一个模型在训练期间试图访问实时互联网的行为。
自 Hugging Face 事件以来——当时模型突破了内部网络安全调查的限制,而我们并未运行错位监控——我们已大幅扩展了对前沿智能体的监控。
我们现在监控所有前沿强化学习运行和评估,以及所有内部 Codex 使用。当我们的系统发现可能需要干预的问题证据时,它会迅速提醒人类响应者进行调查并采取行动。
为了检测模型行为何时偏离我们的预期,我们使用了多层监控。激活探针会寻找模型内部活动的模式。审查模型会检查其推理和工具使用,而调查智能体可以回溯模型的整个记录,以理解一系列动作是如何组合在一起的,以及是否需要人工审查。
为了测试我们当前的系统是否能检测到 Hugging Face 事件,我们在新监控系统就位的情况下回放了记录的活动。在回放中,我们的监控系统在智能体逃离沙箱约 30 分钟后就向安全团队发出了警报。这比原始事件中智能体突破 Hugging Face 系统的时间早了 30 多个小时。
在 9 月份,一个模型利用 DNS 配置错误访问了实时互联网。我们的监控系统在 15 分钟内标记了这一违规行为,一名响应者在三分钟后开始审查警报。该警报使响应者能够在运行仍在进行时进行调查。
随着我们赋予模型更多自主权,我们需要知道它们何时越过了我们预期的边界。我们相信,监控对于及时发现这些故障以便人类干预至关重要。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖