Google发布Self-Improving Memory 自改进记忆系统
介绍:自我改进记忆 🧠✨📈
我们让模型自己发现记忆技能,然后把这些技能训练进它的权重:
- 基于模型自身的运行进行元优化记忆,获得大幅提升。
- 蒸馏这些提升同样有效。
博客文章:📝
🧵1/6
Google 关于递归自我改进(RSI)的重磅论文。(建议收藏)
他们提出了一种在测试框架层面实现持续递归自我改进的方法。他们还为测试框架优化器提出了自己的自我改进记忆系统。
这清楚地凸显了轨迹的重要性,以及在你的测试框架中拥有一个功能性、适应性强且结构化的持久记忆系统的重要性。
他们表明,当测试框架优化器记住自己过去每次修改的原因时,在 10 次持续运行中有 9 次得到了改进。
他们讨论了一个常见问题,即当你更换模型或基准测试时会出现。一个由 Opus 进化而来的测试框架在 Gemini 上的初始得分为 68.41,低于普通种子测试框架的 73.89。
自我改进记忆(SIM)会根据测试框架所解决的问题对过去的修改进行分组。对于每次修改,它都会存储修改理由、预测结果、观察结果和评估上下文。提议者和选择者在进行新的修改前都会读取这些信息。
在包括 Terminal-Bench 2.1 到 Terminal-Bench 4 在内的四个领域中,SIM 在六个跨数据集和四个 Opus 到 Gemini 的设置中,均优于仅从测试框架继续运行的情况。
在十次编码运行中,它平均增加了 2.36 分(p=0.003)。
如果你是自动进化测试框架,请在代码旁边存储每次修改的原因和结果。
与论文对话:
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖