AI Pulse

旧聊天记录不必全塞给模型,Papr 拿到 96.0%

Papr 处理“你之前说过什么”这类问题时,不把完整聊天记录全喂给模型。先检索出相关对话片段,再让模型基于这些片段回答。作为对照的 Chronos 用完整上下文加多轮智能体,拿到 95.6%。

LongMemEval-S 一共 500 题,测的是长对话记忆。Papr 在这套题上拿到 96.0%,用的是官方答案提示词和未修改的 gpt-4o-2024-08-06 评判器。另两个参照:Hindsight 每道题喂 43.6k tokens,94.6%,评判器不同;gbrain 90.6%。

96.0% 和 95.6% 在统计上算平局。Papr 团队自报运行方差约 ±3 题,成绩是自报的。top-20 的检索范围是在看过 top-5 错题之后选的,96.0% 属于在这套题上调过的数字。不过整个流程没有使用问题类型标签,不是按题型定制答案。

错误主要出在读,不在找。470 道可回答的题里,460 道(97.9%)的全部证据会话都出现在前 5 条检索结果中;剩下的错误大多是模型没读好已经找到的证据。

把检索范围从 top-5 扩到 top-20,11 道原来错的变对,8 道原来对的变错,净增 3 道。最明显的收益在时间推理题:123/133 升到 130/133。弃权稳定在 27/30,更多检索没有改变系统拒绝回答的边界。

同一个检索系统,把回答模型换成小得多的 gpt-5-mini,仍有 94.4%。长对话记忆任务不需要顶配模型。Papr 的组件也不重:Papr-Embed 0.6B 嵌入模型开放权重,重排用 gemini flash 2.5,回答环节单轮完成。

博客和代码仓库都已公开,结果怎么跑出来可以自己查。96.0% 是基准上的成绩,不是真实产品里的表现,两者不能直接画等号,具体差多少,Papr 没给数据。更强阅读模型能否继续推高、top-20 的调优换数据集后还灵不灵,也都是没回答的问题。

关键事实

阅读原文
📚 相关主题 基准测试开源

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新