1Password研究：AI修复漏洞成功率仅26%

🦔AI 只能在 26% 的情况下修复安全漏洞。1Password 的研究人员测试了超过 6000 个由 Claude 和 ChatGPT 生成的针对真实漏洞的 AI 补丁。

半数情况下，AI 都没能修复原始漏洞。有 4.5% 的情况，AI 会引入一个之前不存在的全新漏洞。研究人员还发现，检查一个 AI 生成的安全补丁，比自己从头写修复补丁还要费力。

他们的结论非常直白：“完全由 LLM 生成、未经人工审核的补丁，其预期价值明显是净负值。”

我的看法：今年夏天 OpenAI 推出了一个叫“Patch the Planet”的项目，让 AI 找漏洞并生成修复补丁。研究人员针对该项目中的 270 个相同漏洞测试了 AI 生成的补丁，结果零个干净修复——一个都没有。

每个修复了原始问题的补丁，过程中都引入了一个新漏洞。通过 OpenAI 项目提交补丁的合作方，产出的结果被研究人员归类为最糟糕的结果：它没有完全修复漏洞，还在此基础上引入了一个新的可利用漏洞。

如果你不日常写代码，我来解释下这意味着什么：现在很多公司正在用这些 AI 工具给给你的银行、医院、手机运行的软件打补丁。宣传口径一直是“AI 发现并修复安全漏洞比人类更快”。

这项研究说，AI 修复失效的可能性是修复有效的四倍，还有三分之一的情况，AI 会重复犯人类程序员已经犯过的一模一样的错误。检查 AI 的工作比自己从头做还要花时间。所以一旦你要验证输出，速度优势就消失了，而大多数公司根本不会去验证，因为整个项目的目的就是更快出结果。

我认为未来我们会看到重大安全漏洞事件溯源后发现，源头就是没人审核的 AI 生成补丁，而发布这些补丁的公司会把锅推给工具，而不是归咎于自己当初选择信任它。

刺猬🤗
研究：