开源工具破解主流AI图像模型安全防护

有人打开GitHub，发现一款可以直接下载使用的新工具。

这款工具叫RISE，是一个开源的红队算法。它可以破解OpenAI、DeepMind等机构最新图像生成模型的安全防护机制。

RISE不需要额外训练，只需要调用通义千问（Qwen）和Gemini Flash这些现成的大语言模型就能工作。@whitecircle 认为：这款工具使用门槛很低，普通人也能运行测试。

@MiaAI_lab 认为：对比旧版本模型，新的AI图像模型反而更容易被绕过安全限制，这个发现很出乎意料。

@kimmonismus 提到：RISE发现了绕过OpenAI和谷歌图像模型安全过滤器的新方法，相关研究已经被NeurIPS接收。

目前AI红队已经不是实验性的安全演练，而是企业识别AI系统风险的基础能力。NIST最新的生成式AI风险管理框架也鼓励开发者广泛开展红队测试，提前找出安全漏洞。

单个安全防护机制本来就有局限性，通常需要组合安全训练模型、输入过滤器、输出过滤器和内容监控来实现深度防御。这次被破解的主流模型，开发者之前已经主动增加了额外的安全预防措施。

对普通使用者来说，开源工具让AI安全测试的门槛直接降低。以前只有大公司安全团队能做的模型压力测试，现在任何人都能在本地运行。

开放权重模型本来就存在独特挑战，发布后无法召回，安全防护机制更容易被移除，也能在监控外使用。

如果任何人都能测试AI模型的安全漏洞，下一个被发现漏洞的会是哪类模型？