微软研究院插件:AI编码到第六个任务,花费开始低于原版
微软研究院和加州大学伯克利分校做了一项实验。他们让 Claude Code 在同一个代码仓库里按顺序完成任务。做完五个任务,这个仓库里 30% 的工具调用在重复之前任务做过的动作。重复不等于多余,但这个比例值得研究人员去查。
插件做的三件事
他们做了 TokenEconomizer,一个开源插件。它做三件事:把上一个会话的经验带到下一个会话,精简可用的工具列表,代理卡住时推它一把。
先贵,后便宜
代价在开头。插件要先学这个仓库,这一步增加了成本。测试里,每个仓库的累计花费到第六个任务时都低于未修改的代理,前面多花的钱靠后面一个接一个的任务摊回来。
五种代理-模型组合平均下来,单任务成本下降 18.4% 到 30.9%。这个数字已经算上插件自己发起的模型调用,不只是主代理那一部分。
花钱少了,活没干差。五种组合里有四种任务成功率提高,剩下一种没有提高。
适合谁
一位评论者说,他愿意在自己经常工作的仓库上试这个插件。但一次性任务看不出记忆有没有值回成本。省钱靠的是同一个仓库里一个接一个的任务把前期成本摊掉,偶尔跑一次的人拿不到这段累积。
插件代码在 GitHub 上以 Apache 2.0 开源,可以自己部署,也可以改。结果来自微软研究院 11 月 16 日的博客文章,是作者自己的测量数据。
还没回答的
有几件事文章没有交代。插件在哪类代码仓库、哪种语言上最有效,没有数据。任务类型差异很大时,带过来的记忆会不会反而拖后腿,也没有。它对 Claude Code 之外的编码代理是否同样有用,同样不清楚。
前期多花的成本具体多大、什么情况下会盖过后面省下的钱,文章没有给数字。而这个数字划定了用法:活儿一次次落在同一个仓库里、任务一个接一个,累积才起得来。
关键事实
- 微软研究院和加州大学伯克利分校进行了一项实验,测试了Claude Code在同一个代码仓库中按顺序完成任务时的行为。
- 在一个仓库中完成五个任务后,30%的工具调用是重复之前任务中的动作。
- 重复调用不一定意味着不必要,但引起了研究人员的调查兴趣。
- 他们构建了TokenEconomizer,一个开源插件,它在会话之间传递经验、精简可用工具,并在代理卡住时给予提示。
- 学习仓库的初始阶段增加了成本。
- 在测试中,每个仓库的累计花费在第六个任务时低于未修改的代理。
- 在五种代理-模型组合中,平均每个任务的成本下降了18.4%到30.9%,这包括了插件自身的模型调用。
- 在五种组合中,有四种的任务成功率提高了。