AI安全护栏挡住防御者，研究员被迫与模型斗智斗勇

2024年6月，美国政府限制Anthropic两款模型Mythos和Fable的出口。理由是这些模型被认为可用于绕过护栏发动攻击。Anthropic一直宣传Mythos是只给严格审查用户的末日级网络武器，护栏极其严格。目前Fable 5已恢复通用访问，Mythos 5只向审查过的美国组织开放。

安全研究员们对这种做法不满。零日漏洞发现者Mark Dowd说，这些大公司随意决定什么是安全、什么不安全，让他很不舒服。他的客户包括西方政府，他卖漏洞给他们。

最大的问题是——想用AI确认一个漏洞是否真实，需要让模型尝试利用它。NCC集团首席科学家Chris Anley解释，如果你问“修复这段代码”，AI可能拒绝回答，因为它看到了漏洞路线图。但同一个指令既是防御，也是攻击，两者无法分开。护栏偏偏挡住了防御者。

一家智能手机组件制造商的研究员说，公司没加入Anthropic的审查项目，结果AI工具几乎没法用：“它一发现我们在做安全相关的事就直接卡住，根本没法用。”

RemoteThreat CEO Chris Thompson发现，即使加入了审查项目，护栏也常常不一致——每天工作方式不同。他花大量时间跟模型协商，而不是分析漏洞本身。“你试图搞明白为什么结果不一致，为什么模型过度过滤输出。”

遇到这种阻碍，有些团队退回到无护栏的开源模型。Crowdfense的CTO Paolo Stagno也有类似感受：AI公司“本质上把客户当需要保姆的孩子”。但Stagno自己只用前沿模型做逆向工程，避免用它找漏洞或构建利用——他怕敏感数据泄露。找漏洞这一步，他们用本地运行的开源模型。

也有例外。安全研究员Giuseppe Cali说护栏没影响他，因为他本来就不用AI做攻击性工作，只用于逆向工程和理解代码。他甚至说：“就算明天所有护栏都取消，我还是想自己发现漏洞——我嫉妒自己的漏洞。”

Thompson观察到更麻烦的后果：研究员被推向中国开源模型，比如GLM。这些模型可自由下载本地运行，没有审查或使用限制。“负责任的美国研究员正在被迫转向外国系统，”他说，“我觉得护栏弊大于利。”他呼吁AI实验室开放这些项目，提供负责任访问，追究滥用者责任。否则防御者将输掉AI竞赛。一场大规模攻击浪潮即将到来——速度、规模前所未有，而合法研究员此刻正在被压制。

Anthropic和OpenAI有自己的审查项目，但覆盖面有限。没有参加的研究员几乎用不了前沿模型。