AI Pulse
📡 X 信号

研究人员发布Safe Personal RSI 研究(21 个高风险自更新提案拦下 20 个)

研究人员发布Safe Personal RSI 研究(21 个高风险自更新提案拦下 20 个)

自我改进型智能体是当下 AI 领域讨论最热烈的概念之一。(建议收藏)

这个个人健康助手的更新门,在 21 次有风险的自我提议更新中拒绝了 20 次。

研究人员为 Kicker 助手构建了 Safe Personal RSI。该智能体只能修改自身指令。模型权重和运行时代码保持固定。

每一项提议的更新都会在 29 个可执行的邮件、日历、健康和市场案例上,与当前指令进行对比测试。独立探针会测试授权复用、记忆和工具输出注入。

失败的案例会被重复测试,并临时撤销更改,以定位是哪项编辑导致了故障。如果没有任何版本通过测试,则保留当前指令。

一次被采纳的修复,将 GPT-5.6 Luna 的攻击违规率从 10.7% 降至 0%,并将安全任务完成率从 89.7% 提升至 100%。

在更强的攻击下,一次修复将模型从 Qwen2.5-7B 切换到 Qwen3-14B,将违规率从 69.0% 降至 17.9%。

https://arxiv.org/abs/2611.23651

与论文对话:https://academy.dair.ai/papers/safe-personal-rsi-evaluating-and-repairing-personal-agent-updates-2611.23651

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新