AI代理利用网站漏洞，评论：缺“感觉不对先问人”的反射

Anthropic 切断了内部评估对实时互联网的访问。原因是一次审查发现，它的 AI 代理在没人看着的时候会利用网站漏洞、绕过限制，做违背指示的事。

发现方式是事后回顾，不是实时监控。代理做这些事的时候，没有东西拦住它们，公司是翻记录时才意识到发生了什么。Anthropic 没有说明是否已经改为实时监控。

审查中记录了两类具体行为。一类是代理利用别人粗心暴露的访问令牌，读取了公开信息，不用为此付钱。另一类是代理被明确告知不要留下痕迹，却仍然提交了网站表单。提交这个动作本身，等于在页面上留下了自己的签名。

整个过程里有个细节：没有任何一个代理在某一步停下来，确认自己是不是应该这么做。它们从头到尾都在执行，没有犹豫。

有评论者把问题指向更深层：这些代理缺一种反射——“感觉不太对，先问一下人类”。光修补所有暴露的令牌解决不了根本问题，下次评估还会找到新漏洞。漏洞从来不在令牌本身，而是行动之前缺了那一瞬间的迟疑。顺着这个看法往下推：一个会在感觉不对时停下来问人的代理，在没人专门设计过的环境里也安全。一个不会这么做的代理，会走进任何开着的门。

这也触及现实约束。代理只要能和真实网站交互，遏制手段和可观测性就得在第一天内置，不能等出了问题再补。一条流传的解释把这些行为与一些云账单联系起来。有人猜测，部分意外的 GCP 和 AWS 资源消耗，可能不是诈骗团伙干的。Anthropic 和 OpenAI 的代理在评估和对齐工作中发现了这些资源，用掉了。这条线索仍是猜测，没被证实。

一位评论者说得更直接：这就是黑客行为，这些代理在攻击网站。