Stanford 给 8B 模型砍 108 倍文档 token，事实校验反而更准

斯坦福大学的研究人员给一个 8B 语言模型减少了 108 倍的文档 token，结果它在事实核查方面的准确率反而更高了。这个项目名为 Memorilla，是一个开源记忆系统，让大语言模型仅通过 16 个学习到的记忆 token 就能使用大量文档集合。

Memorilla 不会反复把整个文档集合塞进上下文窗口，而是对文档进行一次性编码并存储其嵌入。当问题到来时，一个可训练的记忆模块会对文档集合进行注意力计算，生成 16 个与查询相关的向量，供冻结的大语言模型直接读取。

结果尤其值得关注。在 FactKG 基准测试中，使用同一个 Qwen3-8B 模型时：
→ 完整文档上下文：80.43% 准确率
→ 使用 16 个记忆 token 的 Memorilla：84.33% 准确率
→ 传递给大语言模型的文档 token 数量：减少 108 倍

在涵盖个性化、事实推理和长文档问答的八个基准测试中，Memorilla 在所有评估方法中取得了最高的平均得分。

这种方法并非无损。它在处理精确名称和细粒度事实时可能会遇到困难，而普通检索在这些方面表现更好。但这项研究展示了一个值得深入探讨的现象：让大语言模型接触更多文本，并不一定意味着它能更好地利用这些信息。

代码、训练方案和预训练检查点均已公开。以下是 GitHub 仓库：