你听说了吗?新AI图像模型比旧版更容易突破安全防护
有人在GitHub上传了一套开源算法,专门用来测试AI图像模型的安全防护强度。
这套名为RISE的算法,由开发者whitecircle公开,它可以绕过OpenAI、DeepMind等机构最新图像模型的安全防护。和其他同类工具不同的是,RISE不需要额外训练,直接就能调用通义千问、Gemini Flash这些现成模型运行。
AI红队测试(注:指专门寻找AI系统安全缺陷和漏洞的评估方法)如今已经是AI行业通用的安全检测手段,美国白宫甚至要求前沿AI模型必须完成红队测试才能推出。这次开源的RISE,就是一款专门针对图像模型的红队工具。
研究者发现,OpenAI和谷歌推出的最新AI图像模型,反而比旧版本更容易被突破安全限制。其中GPT-Image 2.5 Flare被突破的难度,差不多是旧版本的三分之一。
@whitecircle 认为:RISE是用来红队测试最新图像模型安全防护的算法,可以突破OpenAI、DeepMind等机构最新模型的防护。
@omarsar0 认为:AI安全领域更需要更好的工具和工程能力,这次开源针对图像模型的红队工具是很好的尝试,能帮助我们找到更优的改进方向。
@MiaAI_lab 认为:越新的AI图像模型反而越容易被突破安全限制。
@Inomsxbt 认为:OpenAI和谷歌的新图像模型比旧版更容易被突破,GPT-Image 2.5 Flare几乎比旧版容易3倍,安全防护做得不够好。
已验证的研究显示,OpenAI和谷歌的最新AI模型确实容易被欺骗生成违规内容。目前开源模型比如Stable Diffusion更容易被突破,因为支持本地运行,可以直接关闭安全过滤器或者下载未经过审的版本,而最新的闭源商业模型原本被认为防护更严格,这次的发现打破了这个认知。
对普通人来说,这意味着你日常使用的AI生成图像工具,安全防护可能并没有你想的那么牢固。合规内容的生成不会受到影响,但如果有恶意用户利用这类工具生成违规内容,平台现有的防护可能拦不住。
白宫已经要求前沿AI模型必须做红队测试,现在有了免费开源的测试工具,接下来模型开发者会怎么补上这些安全漏洞?