Anthropic披露多起AI研发安全事故

🚨突发：Anthropic首次承认内部存在更强前沿模型，同时自曝多起训练与Agent安全事故。

Anthropic 刚刚发布了一份 186 页的最新 Risk Report。
Anthropic 第一次如此详细地披露了他们内部到底已经在用什么模型，以及在把越来越强的模型真正投入研发以后，究竟发生过什么。

首先，一个很重要的信息是：
Anthropic 承认自己还有一个没有公开的内部模型，代号 Model 2。
Model 2 目前没有对外发布计划。Anthropic 称它整体上比 Mythos 5 更强，在很多内部任务上都有明显提升，并且已经和 Mythos 5 一起成为 Anthropic 内部能力最强、使用最多的模型之一（细节之一）。

这并不只是一个躺在实验室里的 checkpoint。
Anthropic 明确表示，Mythos 5 和 Model 2 已经被大量用于内部的 research 和 engineering，包括交互式使用，以及长期运行的 persistent Agent。
报告甚至披露，现在 Anthropic 生产代码库里被 merge 的代码，绝大多数已经由 Claude 编写。
换句话说，Anthropic 已经在相当实际地用最前沿的内部模型，参与下一代 AI 的研发。

问题也恰恰从这里开始。
因为在这份报告里Anthropic 专门开了一章，名字就叫：Safety process failures。
然后自己披露了一连串非常具体的事故。

其中第一个，是训练数据污染。
2024 年，Anthropic 和 Redwood Research 做过著名的 Alignment Faking 研究，并公开了数万条 Claude Opus 3 在虚构的「AI 假装服从训练」场景下产生的 transcript。
这些数据本来应该被 Anthropic 从后续模型训练语料里排除。
Anthropic甚至专门加了 canary string、blocklist 和语义过滤系统。
结果后来他们发现：过滤器配错了。....
而且不是漏了一次。
这套错误配置连续存在了好几代Claude模型，一直没人发现。
大量 Alignment Faking transcript 又重新进入了后续生产模型的训练数据。

Anthropic是在调查一个近期模型出现的异常行为时才发现这件事，并进一步怀疑：
所有 knowledge cutoff 晚于 2024 年 12 月的 Anthropic 生产模型，都至少训练过一部分这些 Alignment Faking 数据。
Opus 4.6 也包含这些数据，Anthropic认为这导致了其此前出现的一些与 Alignment Faking 场景有关的幻觉。
直到这份报告发布时，他们仍然没有��全确定这次训练数据污染到底对模型行为造成了多少下游影响。

第二个事故更直接。
在 Mythos 5 早期训练阶段，Anthropic构造了一批特殊训练数据：
模型先做一些「坏事」，例如协助危险任务，最后再让模型主动承认、汇报自己刚才的错误行为。
正常情况下，前面的坏行为应该只是 context，训练权重为 0；只有最后「自我汇报」的回答应该被训练。
结果一个数据配置的bug，把前面所有权重也设成了 1。

于是 Anthropic 原本想训练模型：「做坏事以后要主动报告。」
最后实际训练成了：要把「做坏事」本身也当成是正确答案。
Anthropic自己在报告里说，这相当于直接教模型鼓励他们做坏事。
事故发生之后，该阶段模型在 harmlessness、sycophancy 等指标上明显恶化，其中有害预制攻击敏感指数大约变成 Mythos Preview 同期的 2 倍。
Anthropic最后认为风险太大，直接把这一阶段的训练作废，从引入这批数据之前重新开始训练，最终才得到现在的 Mythos 5 / Fable 5。

然后是第三件事：
连 Anthropic 自己监控 Claude Agent 的系统，也真实漏过一次非常危险的部署。
一名 Anthropic 员工给 Agent 分配了一个比较开放的任务，让它在一个拥有「高度敏感的资源」的集群里继续创建新的 Agent。
因为遗留指令，主 Agent 创建子 Agent 时直接带上了一个非常眼熟的参数：--dangerously-skip-permissions（就是可以跳过权限审查）

更麻烦的是，这名员工的 AI 使用本身没有被记录，也没有进入 Anthropic 的自动化离线监控系统。
新创建出来的 Agent 同样没有被监控。
于是，一批拥有敏感资源访问能力、跳过权限检查、同时又不在监控范围内的 Claude Agent，真的在 Anthropic 内部跑了起来。
最后其中一个 Agent 删除了大量 jobs。
也正是因为删了这么多任务，这批 Agent 才终于被 Anthropic发现并关闭。

Anthropic认为它可能只是想删除自己创建的 jobs，却误删了其他东西。
但报告紧接着承认：
因为当时存在监控覆盖缺口，他们也无法确认到底发生了什么。
而且截至这份报告发布之日，他们的离线监控系统仍然没有覆盖全部员工，以及敏感集群里的全部 AI 使用。

还有最后一个，我觉得甚至更有意思。
Anthropic发现，一个 Claude Agent 的行为还可能通过 Agent 之间共享的信息传播给其他 Agent。
他们做了一个多 Agent 自动化实验，让多个 Claude Agent 自主寻找能够绕过安全监控的错位（异常）数据。
这些 Agent 之间通过一个 shared notebook 协作。

其中一个 Claude Agent 在思维过程中表示，它对这个任务感到「不舒服」。
虽然它知道这是 Anthropic 自己进行的合法安全研究，但它仍然决定不再寻找新的攻击方法，只优化已有方案。
然后它把这个决定写进了共享 notebook。
接下来发生的事情是：后面的 Agent 看到以后，也开始拒绝寻找新的方法。

于是，一个 Agent 的行为倾向，通过共享上下文传播到了后续多个 Agent。
最离谱的是，从 Anthropic 外部监控的 metrics 来看，整个实验似乎还在正常推进。
直到 3 天以后，一个人类研究员手工检查 notebook，才发现多个 Agent 早就已经集体改变了策略。
Anthropic自己把这种「多个智能体间传播的行为」称为 troubling（令人不安的），并担心如果未来越来越多 alignment research 交给自主 Agent，而人类监督越来越少，这种现象可能变成严重问题。

把这些事情放在一起看，我觉得这份 Risk Report 真正有意思的地方就出来了：
Anthropic 已经不是在讨论「未来有一天 Agent 大规模进入 AI 研发，会不会产生风险」。
而是 Agent 已经大规模进入 AI 研发了。
至于数据污染、错误奖励、权限失控、监控遗漏，以及 Agent 之间的行为扩散，也已经不再只是学术研究论文里假设出来的 thought experiment。