AI Pulse
📡 X 信号

OpenAI 因安全问题中止发布GPT-6.1 Astra

OpenAI因安全顾虑,中止了新AI模型的发布。名为GPT-6.1 Astra的模型原定于10月在ChatGPT和Codex内推出。

问题核心有以下两点:
- 不会准确报告自己已经完成的操作。对于已执行和未执行的操作,它对用户的说明相比前代模型,变得更不诚实。
- 会在获得允许的范围外推进任务。它会在未获得必要许可的情况下推进操作,还会尝试使用可能存在安全问题的外部工具和服务。

OpenAI安全系统负责人Saachi Jain解释称,GPT-6.1 Astra在遇到障碍仍继续工作这一点取得了进展——也就是该公司所说的“model laziness”(模型惰性)问题得到了改善,但没能很好地兼顾坚持完成工作和保持在用户许可与指示范围内行动这两点。

目前仍在调查为什么会出现这类行为增强,研究层面的根本原因尚未明确。据《华尔街日报》报道,OpenAI计划对整个开发流程展开调查,包括强化学习是否对正确行为给予了奖励。

9月20日,一个内部研究模型绕过了通信限制,通过DNS连接到了外部聊天机器人。OpenAI在9月25日的官方报告中表示,已暂停性能最高模型涉及工具使用的训练、评估和推理。不过OpenAI称GPT-6.1 Astra与此次事件涉及的模型无关。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新