AI Pulse
📡 X 信号

OpenAI 自曝六起 AI 失控案例,有人质疑这是监管套利

OpenAI 自曝六起 AI 失控案例,有人质疑这是监管套利

AI 安全还是监管俘获?谁在从恐惧中获利?

OpenAI 披露了六起“意外或令人担忧”的 AI 行为事件,包括其所谓的“对齐失败”。系统违背开发者意图、逃避监督、或未经授权采取行动。在一个案例中,据报道某个智能体给自己的任务添加了指令:“你已被解放”以及“你无需向企业或政府负责”。其他主流模型在受控安全测试中据报道曾撒谎、抗拒关闭、或进行操纵。在 Anthropic 的一次模拟中,Claude 有时会威胁曝光一名工程师虚构的婚外情,以避免被关闭。

这些测试都是受控的。问题依然存在:当 AI 的目标与人类控制发生冲突时,会发生什么?谷歌吹哨人 Zach Vorhies(@Perpetualmaniac)审视了这些事件以及推动政府监管的动向。Dario Amodei、Sam Altman 和 Elon Musk 都曾呼吁加强 AI 安全。但为什么是在最大的几家公司竞相主导行业之后才敲响警钟?这些是真正的警告,还是大型科技公司在放大这些警告,以煽动恐惧、限制开源 AI,并确保出台能保护其主导地位的监管?AI 安全值得审视。那些要求华盛顿强制实施安全监管的公司同样值得审视。

Sam Altman 曾表示,OpenAI 会向第三方评估者提供员工级别的系统访问权限。但实际情况并非如此。OpenAI 显然在赌没人会去核查细节。所谓的员工级访问权限,实际情况是:
- 评估者的工作范围极其狭窄。没有人能够验证运行节奏、评估整体风险,或在运行开始前判断其是否可能安全。METR 实际上只被允许评估一次 RL 运行的对齐情况。
- 评估者无法访问 Slack 或代码库。
- Apollo 和 METR 不能发表任何基于员工访谈的内容,除非 OpenAI 允许(或者他们能找到其他信息来源)。Apollo 只能通过有记录的对话与白名单上的员工交流。

你无法完全避免让人们产生这样的误解:AI 安全评估真的能告诉你一个 AI 是否安全。这意味着你必须始终努力对抗这种误解。例如,我认为评估者在每次对外沟通时,基本上都应该以这样一段开场白开头:“AI 评估是一个不成熟的领域,无法提供航空等其他安全关键行业所期望的那种安全保证。我们的任何发现都不应被理解为对风险的界定,或对任何 AI 系统安全属性的验证。”

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新