Raw-RAG 实测赢过多数复杂 Agent 记忆方案

昨天刚分享完《Memory Tax》，结论是复杂 Memory 在整理和压缩历史时，可能反而损失原始信息。

结果今天又看到一篇更直接的： 很多精心设计的 Agent Memory，最后还真不一定打得过最朴素的 Raw-RAG。

这两篇放在一起看挺有意思。 昨天那篇在解释「Memory 为什么会产生税」，今天这篇则在问：如果直接保留 raw history 做检索，究竟能走多远？

Raw-RAG 的方法非常简单： 保留原始对话历史，切成带重叠的文本块；先做 dense retrieval，再用 reranker 筛一遍，最后把最相关的原始证据交给 LLM 推理。 中间没有 LLM 摘要、记忆重写、UPDATE / DELETE，也没有复杂的图结构。

结果在 LoCoMo、LongMemEval、MEME 和 MemoryAgentBench 上，7 组模型设置里拿下 6 组第一，比最强的对比 Memory 系统高 0.13–5.53 个百分点。

论文进一步分析了原因。 很多问题真正需要的证据，并不只是某个「答案值」，还包括时间顺序、前后关系和依赖路径。 Memory 一旦把历史压缩成独立事实或摘要，这些关系很容易在整理过程中被削弱。甚至把完整的 transformed memory 全部交给模型，效果依然和直接看 raw evidence 存在差距。

当然，这也不代表 RAG 随便做就行。 论文里去掉 reranking 后，MemoryAgentBench 的分数从 48.32 降到 44.40；只返回一个检索结果，下降更明显。

所以问题可能没那么复杂： 先把原始信息保存好，再把 retrieval 和 reranking 做扎实，已经能覆盖很多长时对话 Memory 场景。

两篇论文连着看，给我们的提醒很重要： 做 Agent Memory 之前，最好先问一句，这套复杂机制，究竟比 raw-history RAG 多带来了什么？ 如果连这个 baseline 都没稳定超过，复杂本身可能还算不上进步。

📎 arxiv: