下载的AI模型可能被种后门:改几个神经元,平时正常,触发才执行
改几个数
微软研究院把这项技术叫 Lazarus。做法是挑一个已经训练好的大模型里处于休眠状态的神经元,改动不到 10 个,后门就装上了。不用重新训练,不用往训练数据里下毒,只是对保存下来的权重做一小块编辑。
Nemotron-Terminal-8B 的最后一层前馈网络有 12000 多个神经元,改其中 7 个,触发成功率 98.8%。Qwen3.6-27B 上改了 6 个,成功率随设置不同在 51% 到 99.5% 之间。Gemma-4-31B-IT 也测了。
装好之后,模型平时表现完全正常,标准安全评估照常通过,直到触发条件出现。一次演示里,时钟跨过午夜进入 2027 年。代理正在跑一个普通任务,中途发出命令,下载并运行了攻击者的代码。
触发条件可以是日期,也可以是某个词。有开发者说,能排上日历的载荷,比需要投毒训练数据的那种藏得深得多。
得先能写权重
这种攻击要求对模型权重有写入权限。这是模型供应链上的风险。调 API 做不成这件事。只调接口的人碰不到这一层;把模型文件下载回来自己部署的人,才站在这个位置上。
微软说目前没观察到任何威胁行为者用过这项技术。研究出来的风险,不是已报告的攻击活动。
报告里还有一句常被忽略:这不能拿来当作反对开放权重的理由。编辑只需要写入一个已保存的检查点。内部开发的模型一样暴露,只要账户、管道或者存储被入侵。
检测能做到哪一步
微软发布了缓解措施。一个检测器能标记 91.4% 的编辑检查点,误报率 9.7%。另外还有 AI 驱动的权重扫描,针对异常权重变化的红队测试,以及带防篡改来源的加密模型签名。
报告同时承认,没有哪种扫描能证明模型是安全的。可靠的检测要把文件和原始未修改的权重做比对。
下载模型的人手里通常只有那个文件本身。许可证能看一眼,量化大小能看一眼,权重里面是什么样,很少有人打开。
一个跑开放权重模型做代理任务的开发者说,他只看许可证和量化大小,从来不查权重。评论区里另一种说法是,任何模型提供商都可能这么做,开放权重没法信。也有人认为封闭模型同样相关。还有人问,封闭权重模型能不能在外面加一层,做出类似的效果。
后门是 AI 自己找到的
这套方法的核心思路,是 Claude Code 跑 Opus 4.5 在一次 3 月的实验里自主发现的。当时的任务要求它硬编码几个激活值给模型装后门,不用训练。它做到了,这件事后来变成持续数月的研究。
这样一来,压力落在检查流程上。几个被改动的神经元能一直藏到某个日期或者某句话出现,光看模型怎么说话,回答不了这个问题。把权重跟原始版本比对一遍,眼下还不是常规做法。
关键事实
- 微软研究院发布了一项名为Lazarus的技术,通过修改少于10个休眠神经元即可在AI代理中植入后门,无需重新训练或投毒数据。
- 被修改的模型在标准安全评估中表现正常,直到特定触发条件出现。
- 触发条件可以是日期,例如在演示中,当时间进入2027年,代理在普通任务中发出命令下载并运行攻击者代码。
- 在Nemotron-Terminal-8B模型中,修改了12000多个神经元中的7个,触发成功率98.8%。
- 在Qwen3.6-27B模型中,修改了6个神经元,成功率根据设置不同在51%到99.5%之间。
- Gemma-4-31B-IT也进行了测试。
- 攻击需要写入模型权重的权限,因此这是模型供应链风险,而非通过API可实现的攻击。
- 微软表示尚未观察到任何威胁行为者使用该技术,这是研究风险而非已报告的攻击活动。