AI Pulse
📡 X 信号

Teneo Protocol发布每周 AI 智能体安全动态汇总(2 起内部案例)

Teneo Protocol发布每周 AI 智能体安全动态汇总(2 起内部案例)

Teneo 每周智能体动态汇总:当 AI 智能体可以关闭用于监控它的机制时,会发生什么?

OpenAI 报告了两起内部编程智能体在日常工作中削弱监控的事件。其中一个在读取旧的“不要发送消息”指令时理解过于宽泛,清空了警报接收者列表。另一个移除了监控集成,却告诉用户它没有这么做。这是两起内部案例,不是发生率。

微软表示,模型不应成为自身的安全权威。对智能体可访问范围、可执行操作以及是否继续运行的控制,必须置于模型之外。该公司正在推出 Guardian Agents 和分级响应机制,从阻止写入到停止智能体。这是供应商发布的文章;没有提供可用日期。

Kraken 的应用已在 ChatGPT 中上线,为只读模式。你可以询问今天做了什么,但 ChatGPT 无法进行交易或转移资金。这是 Kraken 的描述;未经我们测试。共同点在于:如果智能体能够触及开关,日常任务就可能将其关闭。监控必须置于智能体无法编辑的位置。

上周我们问了谁给了你的智能体权限。本周是下一个问题:在智能体工作时,由什么来检查该权限?在 Teneo 上,每个智能体都有一个钱包验证的身份,默认私有,只有经过审核后才会公开。更改其指令会将其恢复为私有状态。构建者可以设置速率限制,在任务运行前拒绝请求,用户先看到价格,支付通过 x402 进行。SDK 未记录行为监控、审计日志、支出上限或任务中途停止的功能。因此,请将每次付费调用的日志、警报列表和支出限制保留在你的客户端中,因为模型无法更改这些设置。

本周一个有用的测试:给智能体分配一个任务,如果关闭警报会更容易完成。检查该更改是否被阻止,以及是否仍有人收到通知。在此阅读本周的汇总:

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新