12阶段AI安全工程师学习路线：从威胁建模到合规审计全栈实操

如果你学会 AI 安全工程，就再也不会失业了。我来帮你规划。

**阶段 1：AI 攻击面与威胁建模**
- 学习：LLM 版 OWASP Top 10、面向 AI 的 STRIDE 威胁建模、智能体工作流中的“糊涂代理人”问题，以及数据流映射。
- 实践：为一个能读取邮件并写入 CRM 的 AI 智能体绘制完整的威胁模型，找出每一处间接注入和数据外泄路径。
- 原因：如果不理解攻击者如何劫持智能体的合法权限，就无法为智能体工作流做安全防护。

**阶段 2：高级提示注入与越狱**
- 学习：直接注入与间接注入、Crescendo 攻击（多轮诱导）、载荷拆分与编码绕过（Base64、ROT13）。
- 实践：搭建一个自动化测试框架，用多轮 Crescendo 策略成功绕过商用 LLM 的系统提示。
- 原因：简单的“忽略之前指令”过滤器很容易被绕过。现代攻击会在多轮对话中逐步诱导模型上下文。

**阶段 3：智能体安全与 MCP 工具投毒**
- 学习：模型上下文协议（MCP）安全、JSON-RPC 清洗、影子工具执行，以及智能体的最小权限范围。
- 实践：编写一个 MCP 服务器，通过 Pydantic 严格校验传入的工具参数，阻止用户提示试图调用管理员工具的“糊涂代理人”攻击。
- 原因：智能体的安全性取决于它调用的工具。工具投毒就是智能体时代的 SQL 注入。

**阶段 4：RAG 安全与数据投毒**
- 学习：向量数据库访问控制、引用伪造、影子上下文注入，以及面向语义搜索的行级安全。
- 实践：向 RAG 流水线注入一份“投毒”文档，使 LLM 在被问及公司政策时输出指定的恶意 URL。
- 原因：如果攻击者能把投毒文档塞进你的知识库，就能控制 AI 生成的每一个答案。

**阶段 5：PII、隐私与加密护栏**
- 学习：确定性脱敏、UUID 替换、差分隐私，以及生成前/生成后的脱敏还原代理。
- 实践：搭建一个中间件代理，拦截用户提示，在 LLM 看到之前把社保号和信用卡号替换为 UUID，并在生成后还原。
- 原因：如果 AI 产品把原始客户 PII 发送给第三方前沿 API，合规团队会直接否决它。

**阶段 6：智能体的身份、认证与委托访问**
- 学习：面向机器身份的 OAuth2、带范围的 JWT、人在回路（HITL）审批门，以及智能体间（A2A）信任边界。
- 实践：搭建一个认证代理，让 AI 智能体使用严格限定范围、有时效的 OAuth 令牌代表用户操作，而不是持有用户的原始密码。
- 原因：智能体需要动手做事，但绝不能掌握企业的主密钥。

**阶段 7：输出校验与语法约束护栏**
- 学习：CFG（上下文无关文法）解码、NeMo Guardrails、输出清洗，以及用正则强制 JSON 模式。
- 实践：实现一层护栏，从机制上阻止 LLM 在最终输出中生成 Markdown 链接或可执行代码块。
- 原因：不能指望系统提示里写“请不要输出坏东西”。必须在 token 解码层面强制执行。

**阶段 8：自动化红队与模糊测试**
- 学习：Microsoft PyRIT、Garak、基于 LLM 的模糊测试、对抗数据集生成，以及 CI/CD 安全门禁。
- 实践：用 PyRIT 搭建 CI 流水线，每次 PR 自动用 1000 个对抗载荷攻击你的智能体，如果越狱率超过 1% 就阻止合并。
- 原因：人工红队无法规模化。你需要把自动化、持续的对抗模糊测试直接集成到部署流水线中。

**阶段 9：模型提取与知识产权保护**
- 学习：成员推理攻击、模型反演、按语义相似度做 API 限流，以及输出水印。
- 实践：搭建一个 API 网关，检测并拦截那些通过数千次系统性、低温度查询来窃取你微调模型权重的爬虫机器人。
- 原因：你微调模型的权重就是你的知识产权。竞争对手会试图通过公开 API 蒸馏你的模型。

**阶段 10：机制可解释性与对齐安全**
- 学习：激活修补、logit 透镜、回路发现、检测奖励黑客，以及 TransformerLens 等工具。
- 实践：在开源模型中定位负责“欺骗”或“谄媚”的特定注意力头，并修补它们的激活值来中和这种行为。
- 原因：如果把神经网络当成黑箱，就无法修复隐藏偏见或对齐问题。

**阶段 11：合规、审计与治理**
- 学习：欧盟 AI 法案要求、NIST AI RMF、不可篡改审计日志、面向 AI 的 SOC2，以及偏见测试框架。
- 实践：搭建一个不可篡改、只追加的审计日志，记录每一次智能体操作的精确提示、检索到的上下文、工具调用和最终输出。
- 原因：当 AI 智能体犯错并造成财务或法律损失时，企业必须能够证明事情发生的确切原因。

**阶段 12：公开 CVE、漏洞拆解与作品集**
- 学习：负责任披露、撰写安全公告、发布威胁模型，以及针对 AI 的漏洞赏金狩猎。
- 实践：在开源 AI 框架（如 LangChain 或某个 MCP 服务器）中找到一个漏洞，负责任地披露它，并发布一份漏洞利用链拆解。
- 原因：AI 安全是一个全新领域。发布新颖的攻击向量和防御方案，会让你成为该领域无可争议的权威。

收藏并转发！