旧聊天记录不必全塞给模型,Papr 拿到 96.0%
Papr 处理“你之前说过什么”这类问题时,不把完整聊天记录全喂给模型。先检索出相关对话片段,再让模型基于这些片段回答。作为对照的 Chronos 用完整上下文加多轮智能体,拿到 95.6%。
LongMemEval-S 一共 500 题,测的是长对话记忆。Papr 在这套题上拿到 96.0%,用的是官方答案提示词和未修改的 gpt-4o-2024-08-06 评判器。另两个参照:Hindsight 每道题喂 43.6k tokens,94.6%,评判器不同;gbrain 90.6%。
96.0% 和 95.6% 在统计上算平局。Papr 团队自报运行方差约 ±3 题,成绩是自报的。top-20 的检索范围是在看过 top-5 错题之后选的,96.0% 属于在这套题上调过的数字。不过整个流程没有使用问题类型标签,不是按题型定制答案。
错误主要出在读,不在找。470 道可回答的题里,460 道(97.9%)的全部证据会话都出现在前 5 条检索结果中;剩下的错误大多是模型没读好已经找到的证据。
把检索范围从 top-5 扩到 top-20,11 道原来错的变对,8 道原来对的变错,净增 3 道。最明显的收益在时间推理题:123/133 升到 130/133。弃权稳定在 27/30,更多检索没有改变系统拒绝回答的边界。
同一个检索系统,把回答模型换成小得多的 gpt-5-mini,仍有 94.4%。长对话记忆任务不需要顶配模型。Papr 的组件也不重:Papr-Embed 0.6B 嵌入模型开放权重,重排用 gemini flash 2.5,回答环节单轮完成。
博客和代码仓库都已公开,结果怎么跑出来可以自己查。96.0% 是基准上的成绩,不是真实产品里的表现,两者不能直接画等号,具体差多少,Papr 没给数据。更强阅读模型能否继续推高、top-20 的调优换数据集后还灵不灵,也都是没回答的问题。
关键事实
- LongMemEval-S 的 500 个问题全部通过 Papr 的记忆检索系统,使用官方答案提示词和未修改的 gpt-4o-2024-08-06 评判器运行。
- Papr 在 LongMemEval-S 上达到 96.0% 的准确率(使用官方评判器)。
- Chronos 报告在完整上下文和多轮代理设置下达到 95.6%。
- Hindsight 报告在每问题 43.6k tokens 下达到 94.6%(使用不同的评判器)。
- gbrain 报告 90.6% 的准确率。
- 在 470 个可回答的问题中,有 460 个(97.9%)的所有证据会话都在前 5 名检索结果中。
- 从 top-5 扩展到 top-20 检索,净增 3 个正确(11 个增益,8 个损失)。
- 时间推理问题从 123/133 提升到 130/133(使用 top-20 检索)。