AI Pulse
📡 X 信号

AI安全方向可落地的15个自建项目清单

给那些问 AI 安全领域该做什么的人:

➣ 自己做一个 Prompt Injection Detector(分类器 + 金丝雀令牌 + 评分机制)
➣ 自己做一个越狱红队机器人(攻击库 + 变异 + 成功追踪)
➣ 自己做一个 PII 脱敏层(正则 + NER + 可逆掩码)
➣ 自己做一个工具权限网关(白名单 + 高风险调用人工审批)
➣ 自己做一个 Agent 沙箱(容器 + 断网 + 资源限制)
➣ 自己做一个 Prompt 密钥扫描器(在密钥和令牌泄露前拦截)
➣ 自己做一个间接注入测试器(投毒文档、邮件和网页)
➣ 自己做一个 RAG 访问控制(检索时按用户权限过滤)
➣ 自己做一个输出校验器(模式校验 + 不安全内容过滤)
➣ 自己做一个 MCP Server 审计器(扫描工具描述中的隐藏指令)
➣ 自己做一个数据泄露监控器(标记可疑 URL、markdown 图片、出站调用)
➣ 自己做一个 LLM 审计日志器(记录每一条 prompt、工具调用和决策,防篡改)
➣ 自己做一个模型供应链检查器(权重哈希 + 许可证 + 来源溯源)
➣ 自己做一个安全评估套件(攻击基准 + CI 回归门禁)
➣ 自己做一个事件回放工具(逐步重放一次出问题的 agent 会话)

选 3 个。从零开始做。故意把它们攻破。大多数人都在发布 agent。很少有人知道怎么攻击它们。收藏这条。你会用到的。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新