AI Pulse
🔥 热点深度解读

OpenAI主动暂停了新一代大模型的核心训练

有人刚刷完OpenAI的最新动态,发现这次它没有发新功能预告,反而发了一份训练暂停通知。

这次暂停只针对面向部署的最新模型的强化学习训练,暂停时长为两周。强化学习是一种通过奖励或惩罚模型输出来调整模型行为的训练方法,是当前大模型对齐能力(让模型行为符合人类预期)的核心训练环节。

OpenAI表示,暂停原因在于随着AI模型能力越来越强,内部开发和测试环节的风险也随之增长。这两周时间里,团队会加固研究环境、开展红队测试(模拟攻击找安全漏洞)并扩大监测覆盖范围。

目前OpenAI规模最大的前沿强化学习训练计划仍处于暂停状态,只有小规模的训练和评估在运行,用来验证新增的安全防护措施,收集更多对齐能力的相关证据。这也是全球第一个公开宣布暂停前沿AI训练的AI实验室。

@OpenAI 认为:随着模型能力提升,内部开发测试带来的风险也随之增长。
@kimmonismus 认为:这对GPT-Astra的尽快发布来说不是好信号。
@TokenGremlin 认为:这已经是一个足够清晰的信号,说明下一代模型Astra的进展已经足够深入,它可能已经达到了OpenAI设定的关键网络安全能力门槛。

对普通AI用户来说,这个动作改变了之前大家对AI实验室“比谁跑得快”的印象。比起悄悄出问题再悄悄补救,OpenAI选择在推进最强模型训练之前,先停下来补全安全防护。

如果新一代模型确实已经达到了更高的能力门槛,这种暂停会不会变成行业里的新惯例?

📎 参考来源

查看原始推文

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新