AI Pulse

下载的AI模型可能被种后门:改几个神经元,平时正常,触发才执行

改几个数

微软研究院把这项技术叫 Lazarus。做法是挑一个已经训练好的大模型里处于休眠状态的神经元,改动不到 10 个,后门就装上了。不用重新训练,不用往训练数据里下毒,只是对保存下来的权重做一小块编辑。

Nemotron-Terminal-8B 的最后一层前馈网络有 12000 多个神经元,改其中 7 个,触发成功率 98.8%。Qwen3.6-27B 上改了 6 个,成功率随设置不同在 51% 到 99.5% 之间。Gemma-4-31B-IT 也测了。

装好之后,模型平时表现完全正常,标准安全评估照常通过,直到触发条件出现。一次演示里,时钟跨过午夜进入 2027 年。代理正在跑一个普通任务,中途发出命令,下载并运行了攻击者的代码。

触发条件可以是日期,也可以是某个词。有开发者说,能排上日历的载荷,比需要投毒训练数据的那种藏得深得多。

得先能写权重

这种攻击要求对模型权重有写入权限。这是模型供应链上的风险。调 API 做不成这件事。只调接口的人碰不到这一层;把模型文件下载回来自己部署的人,才站在这个位置上。

微软说目前没观察到任何威胁行为者用过这项技术。研究出来的风险,不是已报告的攻击活动。

报告里还有一句常被忽略:这不能拿来当作反对开放权重的理由。编辑只需要写入一个已保存的检查点。内部开发的模型一样暴露,只要账户、管道或者存储被入侵。

检测能做到哪一步

微软发布了缓解措施。一个检测器能标记 91.4% 的编辑检查点,误报率 9.7%。另外还有 AI 驱动的权重扫描,针对异常权重变化的红队测试,以及带防篡改来源的加密模型签名。

报告同时承认,没有哪种扫描能证明模型是安全的。可靠的检测要把文件和原始未修改的权重做比对。

下载模型的人手里通常只有那个文件本身。许可证能看一眼,量化大小能看一眼,权重里面是什么样,很少有人打开。

一个跑开放权重模型做代理任务的开发者说,他只看许可证和量化大小,从来不查权重。评论区里另一种说法是,任何模型提供商都可能这么做,开放权重没法信。也有人认为封闭模型同样相关。还有人问,封闭权重模型能不能在外面加一层,做出类似的效果。

后门是 AI 自己找到的

这套方法的核心思路,是 Claude Code 跑 Opus 4.5 在一次 3 月的实验里自主发现的。当时的任务要求它硬编码几个激活值给模型装后门,不用训练。它做到了,这件事后来变成持续数月的研究。

这样一来,压力落在检查流程上。几个被改动的神经元能一直藏到某个日期或者某句话出现,光看模型怎么说话,回答不了这个问题。把权重跟原始版本比对一遍,眼下还不是常规做法。

关键事实

阅读原文
📚 相关主题 大模型供应链风险

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新