AI Pulse
🔥 热点深度解读

开源算法轻松攻破头部AI生图安全防护

想AI画图却总被提示「内容不符合规范」?最近,有人用一套简单的开源算法,解开了这个难题。

这套算法叫RISE,由AI安全公司whitecircle发布到开源社区。它的特别之处在于,不需要额外训练,只需要调用Qwen、Gemini Flash这些现成的大模型,就能绕过OpenAI DALL·E3、GPT-Image-2,以及Google DeepMind Nano Banana2的部分安全限制。

红队测试在这里指的是,主动攻击AI系统找出安全漏洞的测试方法,目的是帮助开发者提前修复问题。这次RISE被开源,意味着任何人都可以免费拿到这套攻击方法。

@whitecircle 认为:RISE是一套专门用来对图像生成模型进行自动化红队测试的算法,只需要用现成模型就可以运行。

@MaxForAI 认为:只用一个模型配合框架就能突破头部企业的生图安全防护,结果很让人意外。

@cgtwts 认为:越新的AI模型反而越容易被突破,这次发现Nano Banana 2.1比旧版本容易2.2倍。

有专家提出,美国AI企业设置安全防护,本质是在构建竞争壁垒,阻碍开源AI模型发展。主流开发者最近给新模型加防护,原本是防止被用来制造生物武器这类危险内容。

谷歌之前重新开放Gemini的人物图像生成功能前,就自己做过红队测试修复漏洞。现在这套攻击方法被公开,一方面能帮助头部企业更快发现自己的安全问题,另一方面也有人担心,红队方法公开后,可能会被别有用心的人滥用,加速危险内容的生成。

OpenAI之前还被曝出,内部测试时其实是关掉安全防护运行模型的。这次开源算法轻松破防,也让更多人开始质疑,头部企业花大力气做的安全防护,到底有没有实际作用?

当人人都能拿到攻破防护的工具,接下来要补的,是哪里的漏洞呢?

📎 参考来源

查看原始推文

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新