AI Pulse
🔥 热点深度解读

你听说了吗?OpenAI暂停了前沿AI能力训练

有人整理桌面的AI项目文件夹,发现最近新增的训练任务少了一个。

OpenAI已经暂停了前沿强化学习(强化学习:让AI通过不断试错学习技能的训练方法)训练,目的是加强对不安全AI行为的防御。

OpenAI认为,模型能力发展的速度已经超过了安全保障的速度。现在他们把安全审核从模型部署阶段,前置到了训练启动之前。

按照新规则,所有涉及Sol能力等级及以上模型工具的强化学习训练和评估,都必须强制执行这套新安全机制。这套机制要求在训练启动前,准备一份明确的"安全案例"——也就是用文档记录、有证据支撑的说明,证明训练的风险已经被理解和控制。

如果监控机制发现异常活动,OpenAI计划要在30分钟内发出警报。

@gdb 认为:这套方法是实用的安全指南,反映了OpenAI目前的实际经验。

@mark_k 认为:OpenAI提出,未来前沿AI训练在继续推进前,最终都需要先提供这样的安全案例。

OpenAI的萨姆·奥尔特曼已经在呼吁出台联邦层面的基线安全要求,OpenAI也表示,行业需要协调共同的安全标准,在那之前OpenAI会先单方面采取行动。

按照计划,到2026年,主流AI实验室都会设立专门的红队(红队:模拟攻击者对AI系统进行测试的专业团队),发布攻击载体相关研究,把对抗鲁棒性(对抗鲁棒性:AI抵抗恶意修改、攻击的能力)作为核心工程要求。

日常用AI聊天、做内容整理的普通人,可能暂时感受不到这次调整的直接影响。但训练环节的安全前置,会降低未来能力更强的AI流出风险。

现在已经有了明确的安全操作框架,就等行业标准什么时候跟上了。

📎 参考来源

查看原始推文

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新