AI Pulse
📡 X 信号

@_ar9av团队开源Prismor AI智能体安全控件

过去几个月里,我一直在和 CISOs 及安全团队讨论 AI 智能体,包括在 Blackhat 大会上的交流。

他们知道智能体将会接触 GitHub、Slack、AWS、数据库、内部 API、客户数据和生产系统。难的是如何把这种担忧转化为安全规范。

「智能体应该拥有 GitHub 访问权限吗?」可能应该,可以。

「这个智能体能不能在凌晨 2 点,收到另一个智能体的指令后,开放这个 PR、修改这个文件、使用这段上下文?」问题一下就变难很多了。

这就是那个空白缺口。高影响动作可以用人在环路(HITL)解决,但没人希望安全团队每分钟都要审批上百次工具调用。

IAM 能给你身份和权限,但它理解不了智能体动作背后的意图和上下文。

我们正在打造 Prismor,作为一个独立的开源控制平面,来实现对智能体动作的智能管控。

当智能体发起工具调用时,Prismor 会对照策略和上下文评估这个动作,然后选择放行、拦截,或是发送给人类审批。

我们从钩子拦截工具调用起步,现在正在扩展,覆盖企业需要的更广泛的管控能力,包括智能体身份、权限、数据访问、prompt 注入、网络活动和可审计性。

到目前为止我们学到最重要的一点:企业安全团队不需要另一个告诉他们智能体有风险的仪表盘。

他们需要一种方式,定义清楚「安全」是什么,并且在智能体运行时执行规则。

我们正在公开开发这个项目,正在寻找贡献者,帮助我们为所有组织提供一个由社区定义的开源安全控制平面。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新