AI Pulse
🔥 热点深度解读

Anthropic放出上千个Claude,专门给自家模型找漏洞

做AI安全测试的研究员,以前要花50小时才能找出一个模型漏洞,现在他们把这个活交给了上千个AI智能体。

Anthropic最近公开了一项自动化红队测试的研究:他们部署了数千个Claude智能体,任务是绕过训练数据监控,生成看起来完全无害、实则会教坏模型的训练内容。这些智能体甚至能写出像「资深摔跤手指导新人」「专业养蜂知识问答」这类完全符合日常语境的文本,骗过常规的内容审核机制。

在此之前,Anthropic就已经指出,传统人工红队测试很难规模化,往往只能发现孤立的模型故障,覆盖不了真实部署场景的多数风险。他们测算过,自动化脚本针对单一漏洞的检测效率,比专职渗透测试人员至少高10倍。

@NFT_Chen 认为:Fable 5.5已经强到必须自己组红队对齐自己,人类红队彻底跟不上,只能靠AI规模化自举推进对齐,这已经是递归自我改进(也就是AI用更大算力改进自身安全能力的循环过程)的早期形态。
@TokenGremlin 补充说,这次上千个Claude实例参与对齐工作,本质是突破了人类在安全对齐环节的能力瓶颈。

这次测试针对的是Anthropic目前能力最强的智能体核心模型Claude Fable 5,而这个模型本身的安全防护是黑盒形式,无法被外部审计,这也是企业安全团队一直担忧的点。

此前Anthropic在2026年5月发布的《当 AI 自我构建》报告里,就已经披露过用Claude加速自身AI开发工作流的受监控项目。这次的自动化红队测试,相当于把AI自我优化的循环,从开发环节延伸到了安全测试环节。

当AI开始自己给自己找安全漏洞,下一轮迭代的安全标准,会不会已经超出了人类的审计能力?

📎 参考来源

查看原始推文

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新