Google 新论文:智能体不改权重,也能自我迭代
Google 又出了一篇关于 RSI 的精彩论文。(收藏起来)
在 RSI 中,智能体根据经验编辑自己的运行框架,也就是它的提示词、技能、工具规则和记忆。模型权重永远不会改变。
这种方法一直有效,直到某次编辑修复了一个任务,却悄悄破坏了另一个任务。经过几轮迭代,一个自我编辑的运行框架最终可能比最初的普通智能体还要糟糕。
问题在于智能体学习的信号。单个任务得分混合了两件事:最新编辑刚刚破坏的行为,以及智能体从未解决的差距。因此,智能体无法区分新的回归问题和旧的差距。
它最终会编写宽泛的规则,破坏正常运行的任务,覆盖旧技能,或者将过时的规则堆积到提示词中。
Google 的解决方案是 GUARD,这是一个循环,在保留每次编辑之前检查它会破坏什么。每一轮的工作方式如下:
1. 在运行任务之前,智能体将其转化为简单的是/否自检清单
2. 运行后,它根据这些检查对轨迹进行评分
3. 它固定已经通过的规则,并将新破坏的检查排在首位
4. 它在相同任务上测试多个候选编辑,只有当收益大于破坏时才保留获胜者
被拒绝的编辑会进入日志,这样智能体就不会重试它们。在测试时,所有这些都会关闭,一个冻结的运行框架一次性运行。
论文展示了在四个不断变化的任务流上的差异。其他自我编辑的运行框架上下波动,并且随着新编辑覆盖旧技能而低于普通智能体。使用 GUARD,运行框架在每个检查点都有所改进,零下降,零遗忘。
在 43 个使用不断演变的日历工具的测试任务中,GUARD 将准确率提高了约 9 个百分点,从 72% 提高到 81%。它改进了 8 个任务,没有使任何任务变差,并且每个任务使用的 token 不到初始智能体的一半。
测试集很小,81% 是五个 GUARD 设置中最好的(平均值约为 77%)。将这些数字视为方向性的。
GUARD 论文(图左)位于 http://arxiv.org/abs/2611.23476
这建立在 Google 之前发布的关于 RSI 的论文《自我改进记忆》(SIM)之上。SIM 为优化器提供了一个日志,记录了过去每次编辑的原因及其是否有效。
SIM 帮助优化器记住编辑存在的原因。GUARD 在保留编辑之前检查它会破坏什么。
SIM 论文(图右)位于 http://arxiv.org/abs/2611.18856
我还写了一篇关于类似想法的文章,介绍如何构建一个自动改进的智能体运行框架。它基于 @Cometml 的 Opik,这是 100% 开源的。文章引用如下。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖