Dhanush_Nehru发布12阶段AI安全学习路线图

AI 是新的攻击面。别只学怎么搭建它，还要学怎么攻破它、加固它、防御它。以下是我会遵循的 12 阶段 AI 安全路线图：

阶段 1：AI 威胁建模
❯ 学习 ➟ OWASP LLM 应用 Top 10、MITRE ATLAS、STRIDE 模型、信任边界
❯ 实践 ➟ 为一个能读取工单并发放退款的客服智能体做威胁建模
❯ 原因 ➟ 如果你无法绘制攻击路径，就无法封堵这些路径

阶段 2：提示注入与越狱
❯ 学习 ➟ 直接注入与间接注入、多轮对话攻击、编码技巧
❯ 实践 ➟ 在 PDF 中隐藏一条指令，测试你自己的摘要智能体是否会遵从它
❯ 原因 ➟ 攻击不在聊天框里，而在模型读取的每一份文档中

阶段 3：智能体与 MCP 安全
❯ 学习 ➟ MCP 安全、工具投毒、最小权限原则、输入验证
❯ 实践 ➟ 搭建一个带有严格参数校验和按用户工具权限的 MCP 服务器
❯ 原因 ➟ 智能体的安全性取决于它能调用的工具的安全性

阶段 4：RAG 与数据投毒
❯ 学习 ➟ 向量数据库访问控制、投毒文档、行级安全
❯ 实践 ➟ 在测试知识库中植入一条虚假的“退款政策”，然后构建能检测出它的校验机制
❯ 原因 ➟ 控制了知识库，就控制了回答内容

阶段 5：PII 与隐私
❯ 学习 ➟ 脱敏、令牌化、数据擦除、数据驻留
❯ 实践 ➟ 搭建一个代理，在模型看到邮箱和电话号码之前将其替换为令牌
❯ 原因 ➟ 原始客户数据不应离开你的边界

阶段 6：身份与委托访问
❯ 学习 ➟ 面向机器身份的 OAuth2、带范围的短期令牌、审批关卡
❯ 实践 ➟ 给日历智能体 15 分钟的只读权限，然后自动撤销
❯ 原因 ➟ 智能体需要的是“手”，而不是万能钥匙

阶段 7：输出防护栏
❯ 学习 ➟ 模式校验、NeMo Guardrails、输出净化
❯ 实践 ➟ 在模型输出中屏蔽 Markdown 图片链接和未批准的 URL
❯ 原因 ➟ 用代码强制安全，而不是靠提示词

阶段 8：自动化红队测试
❯ 学习 ➟ PyRIT、Garak、LLM 模糊测试、CI 安全关卡
❯ 实践 ➟ 在每次 PR 时对你的机器人运行 500 个攻击提示，如果成功率过高就让构建失败
❯ 原因 ➟ 手动测试无法规模化

阶段 9：模型提取与滥用
❯ 学习 ➟ 模型提取、成员推理、速率限制、水印
❯ 实践 ➟ 搭建一个网关，标记发送数千次系统性查询的用户
❯ 原因 ➟ 你的微调模型是知识产权，而你的 API 就是前门

阶段 10：可解释性与对齐
❯ 学习 ➟ 激活修补、Logit 透镜、TransformerLens
❯ 实践 ➟ 在一个小型开源模型中，追踪哪些注意力头对简单任务起关键作用
❯ 原因 ➟ 你无法完全信任你无法检视的东西

阶段 11：审计与治理
❯ 学习 ➟ 欧盟 AI 法案、NIST AI RMF、审计追踪、SOC 2
❯ 实践 ➟ 将每一条提示、工具调用和输出记录在一个可回放的只追加存储中
❯ 原因 ➟ 当 AI 犯下代价高昂的错误时，你需要证明原因

阶段 12：公开 CVE 与作品集
❯ 学习 ➟ 负责任披露、撰写安全公告、AI 漏洞赏金
❯ 实践 ➟ 在开源智能体框架中找到一个漏洞，私下披露，在修复后发布一份拆解报告
❯ 原因 ➟ 公开成果胜过证书

收藏并转发！

AI 编码智能体安全套件：网络安全指南、Passkey 与 MFA：
资源：
视频：
博客：