@Lummox_eth 推荐7个LLM应用安全工具

AI 工具调用正变得TMD危险。

这里有 7 个 GitHub 仓库，能在大语言模型应用接入生产工具之前对它进行安全加固：

01 garak → 扫描大语言模型，查找已知失效类型和攻击类型。**先攻击模型**。

02 PyRIT → 对AI系统开展结构化红队行动。

03 promptfoo → 在持续集成（CI）中自动化红队检查。**扫描每一条提示词**。

04 LLM Guard → 在输入输出到达模型之前进行检查。

05 Rebuff → 在边界处检测提示注入尝试。**对行为设置硬性限制**。

06 NeMo Guardrails → 为应用的可操作范围定义可编程护栏。**证明它仍然符合要求**。

07 Inspect AI → 在受控任务下评估安全和能力。

工作流：威胁建模 → 攻击 → 检测 → 护栏 → 重测 → 发布 → 监控。

我对它们的使用场景划分：
发布前：garak → promptfoo → Inspect AI
运行时防护：LLM Guard → Rebuff → NeMo Guardrails
完整闭环：PyRIT → LLM Guard → NeMo Guardrails → Inspect AI

一个巧妙的系统提示词不等于安全边界。如果模型可以调用工具，你就需要多层防御，在出问题时直接失效关闭。