你听说了吗?OpenAI暂停了前沿AI能力训练
有人整理桌面的AI项目文件夹,发现最近新增的训练任务少了一个。
OpenAI已经暂停了前沿强化学习(强化学习:让AI通过不断试错学习技能的训练方法)训练,目的是加强对不安全AI行为的防御。
OpenAI认为,模型能力发展的速度已经超过了安全保障的速度。现在他们把安全审核从模型部署阶段,前置到了训练启动之前。
按照新规则,所有涉及Sol能力等级及以上模型工具的强化学习训练和评估,都必须强制执行这套新安全机制。这套机制要求在训练启动前,准备一份明确的"安全案例"——也就是用文档记录、有证据支撑的说明,证明训练的风险已经被理解和控制。
如果监控机制发现异常活动,OpenAI计划要在30分钟内发出警报。
@gdb 认为:这套方法是实用的安全指南,反映了OpenAI目前的实际经验。
@mark_k 认为:OpenAI提出,未来前沿AI训练在继续推进前,最终都需要先提供这样的安全案例。
OpenAI的萨姆·奥尔特曼已经在呼吁出台联邦层面的基线安全要求,OpenAI也表示,行业需要协调共同的安全标准,在那之前OpenAI会先单方面采取行动。
按照计划,到2026年,主流AI实验室都会设立专门的红队(红队:模拟攻击者对AI系统进行测试的专业团队),发布攻击载体相关研究,把对抗鲁棒性(对抗鲁棒性:AI抵抗恶意修改、攻击的能力)作为核心工程要求。
日常用AI聊天、做内容整理的普通人,可能暂时感受不到这次调整的直接影响。但训练环节的安全前置,会降低未来能力更强的AI流出风险。
现在已经有了明确的安全操作框架,就等行业标准什么时候跟上了。