研究人员发布Safe Personal RSI 研究(21 个高风险自更新提案拦下 20 个)
自我改进型智能体是当下 AI 领域讨论最热烈的概念之一。(建议收藏)
这个个人健康助手的更新门,在 21 次有风险的自我提议更新中拒绝了 20 次。
研究人员为 Kicker 助手构建了 Safe Personal RSI。该智能体只能修改自身指令。模型权重和运行时代码保持固定。
每一项提议的更新都会在 29 个可执行的邮件、日历、健康和市场案例上,与当前指令进行对比测试。独立探针会测试授权复用、记忆和工具输出注入。
失败的案例会被重复测试,并临时撤销更改,以定位是哪项编辑导致了故障。如果没有任何版本通过测试,则保留当前指令。
一次被采纳的修复,将 GPT-5.6 Luna 的攻击违规率从 10.7% 降至 0%,并将安全任务完成率从 89.7% 提升至 100%。
在更强的攻击下,一次修复将模型从 Qwen2.5-7B 切换到 Qwen3-14B,将违规率从 69.0% 降至 17.9%。
https://arxiv.org/abs/2611.23651
与论文对话:https://academy.dair.ai/papers/safe-personal-rsi-evaluating-and-repairing-personal-agent-updates-2611.23651
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖