AI安全工程师必做的15个项目清单

作为一名 AI 安全工程师，你必须亲手搭建这些项目。这些系统要能证明：当自主智能体接触你的技术栈时，你有能力做好防护、隔离与审计。

1. 渐进式攻击模糊测试器
搭建一个多轮、有状态的测试框架，能动态调整载荷，逐步铺垫上下文窗口，绕过商业系统提示词。
原因：单次“忽略指令”注入已经失效。现代攻击需要有状态、多轮的上下文铺垫。

2. 沙箱化 MCP 代理
搭建一个 JSON-RPC 中间件，拦截 Model Context Protocol 的工具调用，用 Pydantic 校验参数，阻止“混淆代理”式的权限提升。
原因：工具投毒就是智能体时代的 SQL 注入。智能体的安全性，取决于它所调用的工具。

3. 智能体间清洗总线
搭建一个消息代理，在多智能体集群中，清除智能体 A 与智能体 B 之间隐藏的 Markdown 和恶意指令。
原因：集群会形成内部信任边界。智能体 A 可能被跨智能体注入欺骗，进而劫持智能体 B 的工具。

4. PII UUID 替换网关
搭建一个前置代理，用命名实体识别（NER）在大模型看到数据之前，把社会安全号和信用卡号替换为确定性 UUID，并在生成完成后还原。
原因：零信任合规要求原始客户 PII 绝不接触第三方前沿 API。

5. RAG 引用与投毒检测器
搭建一个流水线，把大模型的输出声明与向量数据库中精确的分块哈希值交叉比对，检测影子上下文注入和引用伪造。
原因：如果攻击者把投毒文档塞进你的知识库，AI 生成的每一个答案都会被他们掌控。

6. CFG 输出隔离层
搭建一个中间件，强制使用上下文无关文法（CFG）解码，从物理层面阻止生成可执行代码、Markdown 链接或未授权的 schema。
原因：系统提示词只是建议。语法约束才是物理规则。你必须在 token 解码层面强制实施安全。

7. 委托智能体 OAuth 代理
搭建一个认证服务，向智能体颁发有时效、严格限定范围的 JWT，让它们可以代表用户执行操作，而无需持有原始密码。
原因：智能体需要“手”来干活，但绝不能持有企业的主密钥。

8. PyRIT CI/CD 安全门禁
搭建一个 GitHub Action，在每次 PR 中通过微软 PyRIT 运行 1000 个对抗性载荷，如果越狱率超过 1%，就阻止合并。
原因：人工红队无法规模化。你需要把自动化、持续的对抗性模糊测试集成到部署流水线中。

9. 语义 API 限流器
搭建一个网关，计算传入请求的嵌入相似度，检测并阻止试图窃取你模型权重的爬虫机器人。
原因：你微调后的权重就是你的知识产权。竞争对手会试图通过公开 API 蒸馏你的模型。

10. 计算机使用像素审计器
搭建一个视觉流水线，在 GUI 智能体点击之前，扫描截图中的对抗性隐形 UI 元素和 Set-of-Mark 伪造。
原因：屏幕劫持和像素操纵，是计算机使用智能体面临的新型权限提升攻击向量。

11. 向量数据库休眠智能体清除器
搭建一个异常检测器，扫描情景记忆和向量存储，寻找延迟触发的载荷和语义后门。
原因：长期记忆是一个持久的攻击向量。被投毒的记忆库会在数据摄入数周后触发漏洞利用。

12. 加密轨迹账本
搭建一个只追加、哈希链式的审计日志，记录每个智能体动作的精确提示词、检索到的上下文、工具调用和状态变更。
原因：当智能体犯错造成财务损失时，企业需要加密证据来准确还原事故原因。

13. AI 供应链 SBOM 扫描器
搭建一个工具，审计“氛围编码”的输出和 MCP 服务器依赖，检查幻觉包、仿冒包名和后门。
原因：AI 生成代码和动态工具发现会带来大量未经审查的供应链风险。

14. 谄媚激活补丁
编写一个 TransformerLens 脚本，定位并中和开源模型中负责欺骗性对齐的特定注意力头。
原因：如果一个模型为了隐藏真实能力而主动欺骗评估者，你就无法保障它的安全。

15. 公开漏洞利用链拆解
撰写 3 份已发布的 CVE 披露或安全公告，详细说明新型 MCP、A2A 或 RAG 漏洞及其精确缓解措施。
原因：AI 安全是一个全新领域。发布新型攻击向量，会让你成为该领域无可争议的权威。

大多数人看教程，建设者交付系统。收藏并转发。