最多省92.9%的token,SparseRead只让AI读该读的几段
有人用 Yacy 做网页抓取,工具本身能用,就是抓回来的东西太多,上下文很快就被塞满。AI 查资料经常卡在这:整页整页的网页、整个文件被一股脑读进去,真正有用的只有一小块。token 没少花,时间也搭进去了。
SparseRead 改的就是这一步。它是一个读取控制层,不改模型本身,只决定哪些内容能进来。简单说,换的不是模型,是模型读东西的方式。
三个部件各管一件事。Read Intent Protocol 跟踪任务需求变到哪、来源覆盖到哪。Adaptive Reader Backends 决定用什么方式定位证据、把证据暴露出来。Budgeted Read Gate 管预算:限制每轮累计暴露的原始内容量,同时留一条保底路径,必要时返回全量视图。外面还套了一层统一的 Reader 接口,不同资源之间可以互换取证据的方式。
测试覆盖六个模型和五个场景,其中包括 Claude Opus 5。总 token 消耗最多降 92.9%,实际耗时最多降 89.0%,在 97% 的设置里任务质量保持不变或有所提升。在 Web 深度搜索这类任务上,token 减少 31.0%–43.0%,完成时间减少 23.0%–37.0%。
注意,92.9% 和 89.0% 写的是“最多”,也就是上限。这个上限是全部测试里的最大值,还是某个场景单次跑出来的,论文没有说。那 3% 没保持住或变差的设置是什么,也没交代。消融实验确认了三个部件各自有效。和三个智能体框架的集成也说明它能移植。至于具体是哪三个框架,论文没写。
读代码是另一回事。讨论里最集中的质疑指向代码。一位评论者认为读代码时精确性更重要,这套做法未必适用。另一个人说自己实际试过,感觉它和 grep 干的是同一件事,在代码场景里“没用甚至有害”。工具只把精确的代码行交给 AI,不给周边上下文,反倒容易让模型漏掉东西。这些是个人的测试和判断,论文有没有单独评估代码阅读任务,没有明确说法。
支持的一方也直接就事论事。一条高票评论说,上下文管理是新的前沿问题,模型效果很可能随上下文效率提升而提升。还有人判断,AI 实验室很可能早就在做类似策略。两条都是观点,没给证据。但指向同一件事:省 token 正在从附带效果变成一个单独的设计目标。
SparseRead 不需要换模型,也能插进不同框架,现有工具接入的门槛不算高。省下来的成本会不会变成更低的价格,没有相关信息。
论文、PDF、GitHub 代码库和项目主页都已经公开。有评论者问是不是只能在 Mac 上跑,这算个提问,不是限制条件。还有一个人说自己的项目是这篇论文思路的精确实现,邀请作者讨论产品落地。对方提到采用 MIT 许可证——注意,MIT 说的是对方自己的项目,不是 SparseRead。SparseRead 自身代码能不能商用,没有明确说法。
预算怎么设、保底的全量回退在什么条件下触发、触发后会不会又回到高 token 消耗——这些都还没交代。它在真实产品里能不能默认生效,还是得靠人手调参,目前看不出来。
关键事实
- SparseRead 是一个可复用的读取控制层,在不修改智能体模型本身的前提下管理内容准入。
- 统一的 Reader 接口支持在异构资源之间互换证据获取方式。
- 测试覆盖六个模型(包括 Claude Opus 5)和五个场景。
- SparseRead 最多减少 92.9% 的总 token 消耗。
- SparseRead 最多减少 89.0% 的实际耗时(wall time)。
- 在 97% 的设置中,任务质量保持不变或有所提升。
- 在 Web 深度搜索任务上,token 减少 31.0%–43.0%,任务完成时间减少 23.0%–37.0%。
- 消融实验验证了这三个设计的有效性。