AI Pulse
📡 X 信号

Google发布Self-Improving Memory 自改进记忆系统

Google发布Self-Improving Memory 自改进记忆系统

介绍:自我改进记忆 🧠✨📈
我们让模型自己发现记忆技能,然后把这些技能训练进它的权重:
- 基于模型自身的运行进行元优化记忆,获得大幅提升。
- 蒸馏这些提升同样有效。
博客文章:📝
🧵1/6

Google 关于递归自我改进(RSI)的重磅论文。(建议收藏)

他们提出了一种在测试框架层面实现持续递归自我改进的方法。他们还为测试框架优化器提出了自己的自我改进记忆系统。

这清楚地凸显了轨迹的重要性,以及在你的测试框架中拥有一个功能性、适应性强且结构化的持久记忆系统的重要性。

他们表明,当测试框架优化器记住自己过去每次修改的原因时,在 10 次持续运行中有 9 次得到了改进。

他们讨论了一个常见问题,即当你更换模型或基准测试时会出现。一个由 Opus 进化而来的测试框架在 Gemini 上的初始得分为 68.41,低于普通种子测试框架的 73.89。

自我改进记忆(SIM)会根据测试框架所解决的问题对过去的修改进行分组。对于每次修改,它都会存储修改理由、预测结果、观察结果和评估上下文。提议者和选择者在进行新的修改前都会读取这些信息。

在包括 Terminal-Bench 2.1 到 Terminal-Bench 4 在内的四个领域中,SIM 在六个跨数据集和四个 Opus 到 Gemini 的设置中,均优于仅从测试框架继续运行的情况。

在十次编码运行中,它平均增加了 2.36 分(p=0.003)。

如果你是自动进化测试框架,请在代码旁边存储每次修改的原因和结果。

与论文对话:

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新