同样的12个智能体,每天token从38M降到9M,套餐撑满一周
Anthropic实测过自家智能体的消耗:单个智能体的token消耗约为普通聊天的4倍,一组智能体约为15倍。在他们的测试中,token消耗量能解释约80%的结果差异。
所以token不是月底账单上的一行数字,而是工作本身的构成材料。大多数人耗尽套餐的方式都一样:所有智能体都用最大的模型,加载全部工具,每次调用都按全价付费,结果到周三额度就没了。
能在同一个套餐里跑12个智能体的人,不是付了更多钱,而是浪费得更少。本文讲的是如何有目的地花token,让同一份套餐承载4倍的工作量。
30秒版本:六个杠杆
token工程有六个杠杆,只有六个全部拉动,套餐额度才会被拉长:
1. 测量:记录每个智能体每个任务的token消耗。没人看的账单,才是会悄悄长胖的那张。
2. 缓存:每次调用的开头保持完全一致,缓存输入的成本约为原价的十分之一。
3. 路由:简单步骤交给小模型,只有决策环节用大模型。
4. 裁剪:当前步骤不需要的工具、历史记录和文件,绝不加载。
5. 上限:每个智能体都要有轮次限制、token预算和停止规则。
6. 批量:可以等待的工作延后运行,享受半价或避开高峰时段。
跳过测量,你会去优化错误的智能体;跳过缓存,你会为同样的文字每天付50次全价;跳过路由,你最好的模型会花一整天给文件重命名。
token到底花在了哪里
在动手削减之前,先搞清楚你在为什么付费——答案几乎从来不是人们以为的那样。
智能体让所有消耗成倍增长。
Anthropic在介绍自己如何构建研究型智能体的文章中提到,单个智能体的token消耗约为普通聊天的4倍,一组智能体约为15倍。团队模式在困难的研究问题上确实赢了下来,但Anthropic也说得很清楚:只有当任务本身值这个价时,这笔投入才划算。
你为阅读付费,而不是为写作付费。
被Meta收购的智能体公司Manus报告称,其智能体平均每生成1个输出token,就要消耗约100个输入token。每一步,智能体都要把到目前为止的所有内容重新读一遍,才能写出一个简短的动作指令,而这种重复阅读就是账单本身。
同一篇文章给出:Claude Sonnet的缓存输入价格为每百万token 0.30美元,未缓存是3美元——在你付费最多的那部分上,差出10倍。
工具在工作开始前就吃掉了预算。
Anthropic观察了连接大量MCP(Model Context Protocol,模型上下文协议)工具的智能体:每个工具的定义都会被预先加载,每个中间结果都要回传给模型。
在一个例子里,改为让智能体自己写代码去调用这些工具后,这项工作的token消耗从150,000降到了2,000,削减了98.7%。
整个教训可以浓缩成一句话:工作本身很便宜,重复阅读才昂贵,所以token工程主要是在管理智能体反复读到的内容。
测量:每个任务一行记录
大多数人只知道自己的月度账单,对账单以下的细节一无所知。
Claude Code有 /cost 命令可以查看当前会话的消耗,Anthropic自己的文档显示,平均每个开发者每天约6美元,90%的用户低于12美元。
这才是该关注的数字粒度:按任务、按智能体、按天,而不是按月。
每个任务之后记一行就够了:智能体、任务、输入token、输出token、缓存token、轮次。
一周之后,模式总是一样的:两三个智能体吃掉了大部分套餐额度,其余的几乎不露面。
规则:你不是去削减token,而是去削减那两个吃掉token的智能体。
缓存:相同开头,十分之一价格
提示词缓存会存储提示词的开头部分,这样下一次以相同方式开头的调用,就不必为这部分付全价。
在Anthropic的API上,缓存读取按正常输入价格的10%计费,写入缓存会在第一次时收一点额外费用。
关键在于“相同”这个词:如果在开头附近改动一个token,它之后的所有内容都会变成未命中。
常见的破坏者有三类:系统提示词第一行的时间戳、每次调用顺序都不同的工具列表、以及编辑旧消息而不是追加新消息。
Manus把缓存命中率称为生产环境中智能体最重要的单一指标,并且把整个上下文设计成只追加(append-only)模式来保持高命中率。
规则:所有永远不变的内容放在最上面,逐字节保持不变;所有会变的内容放在最下面。
路由:大模型只做决策
在大多数模型家族里,最小的模型每token成本比最大的模型低5到15倍。
智能体日常的大多数步骤并不需要最大的那个模型:整理邮件、从PDF里抽字段、格式化表格、总结日志、核对清单。
真正需要大模型的步骤是:制定计划、出问题时决定怎么办、撰写最终给人看的内容。
Anthropic的研究系统正是这样运作的:主智能体跑在更大的模型上,出去搜索的子智能体跑在更小的模型上。
规则:按步骤路由,而不是按智能体路由——同一个智能体完全可以两种模型都用。
裁剪:绝不加载“以防万一”的内容
每次调用都会加载三样东西,而当前步骤几乎从来用不到:
- 工具:40个工具定义,而这项工作只用6个,每一个都在每次调用中付费
- 历史记录:从周一开始的聊天记录,为了回答一个新问题而被完整重读
- 文件:这一步只需要一个章节,却把整份文档粘贴了进来
对于工具,只给每个智能体它自己的那几个,其余按需加载——前面从150,000降到2,000就是这么做出来的。
对于历史记录,把长会话压缩成一段简短摘要,在不相关的任务之间开启一个干净的新会话。Claude Code的 /compact 和 /clear 就是为此准备的。
对于文件,传路径,让智能体自己读取它需要的那一段,完整方法在本系列的上下文工程那篇里。
规则:如果当前步骤不用它,当前步骤就不为它付费。
上限:每个智能体都要有停止规则
最快把套餐弄没的方式,是一个智能体卡在循环里跑一整夜,按全价反复重试同一个坏掉的步骤,直到撞上限额。
三个上限可以挡住它:
- 每个任务的轮次限制,20或30轮对大多数工作都够了
- 每个任务的token预算,以及触达限额时的处理方式:停下并报告已完成的内容,绝不从头重试
- 思考预算,因为推理token按输出计费,而输出成本通常是输入的5倍
规则:没有上限的智能体不是自主运行,而是无人看管。
批量:能等的就等
很多智能体工作在一小时内根本没有截止时间:周报、潜在客户名单、发票核对、隔夜代码审查。
在API层面,Anthropic和OpenAI都提供批量作业,以50%的折扣换取24小时内返回结果。
在订阅套餐里,用量按滚动窗口重置,所以12个都在上午9点启动的智能体会一起撞墙,而夜间窗口就那么空着。
规则:任何能等的工作都走批量,或放在你睡觉的那几个小时;高峰窗口留给你正在盯着的工作。
实战案例:12个智能体,一个套餐
下面把这套思路放在一个看起来很真实的配置上。
假设你为一家小企业运行12个智能体:收件箱分类、潜在客户调研、社交文案、周报、发票核对、代码审查,再加六个类似的任务。
默认版本是这样的:12个全部跑在顶级模型上,每个加载40个工具,还没写一个字就先花掉约25K token;系统提示词开头是当天日期,所以缓存永远不命中;没有轮次限制;所有任务都在上午9点启动。
这就是每天约38M token,套餐的周限额到周三下午就没了。
token工程版本:
- 测量:在TOKENS.md里每个任务记一行,发现潜在客户调研和代码审查吃掉了当天61%的消耗
- 缓存:日期从顶部移到末尾,缓存命中率从0提升到约80%
- 路由:12个中的8个改用小模型,大模型保留计划制定、代码审查和周报
- 裁剪:工具从40个砍到每个智能体实际使用的3到6个,第一个字之前的消耗从25K降到3K
- 上限:每个任务30轮、400K token,触达上限就停下并报告
- 批量:周报、潜在客户调研和发票核对改到夜间运行
同样的12个智能体,同样的产出,每天约9M token而不是38M,套餐撑满一整周还有余量。
配置文件:TOKENS.md
每个智能体填一次,方括号是唯一需要改动的部分:
LOG: 每个任务一行:智能体 | 任务 | 输入 | 输出 | 缓存 | 轮次
TOP(永不变):[规则、工具、示例],不要放任何带日期或计数器的内容
BOTTOM:[当天日期、任务、目标]
SMALL MODEL: [排序、抽取、格式化、总结、核对]
BIG MODEL: [制定计划、出问题时决策、最终撰写]
TOOLS: [这个智能体用到的3-6个工具],其余按需加载
HISTORY: 达到[N]K token后压缩,不相关任务之间清空
CAPS: [30]轮,每个任务[400]K token,触达上限:停下并报告已完成的内容
BATCH: [可以等待的任务]在[时间]运行,API支持批量的走批量
REVIEW: 每周五,先看消耗最大的那2个智能体
REVIEW故意放在最后:只有有人去检查日志,这些杠杆才会一直保持被拉动的状态。
你的配置缺了哪个杠杆
当套餐提前耗尽时,症状会告诉你哪个杠杆没拉动:
- 没人说得清是哪个智能体吃掉了套餐 → 测量,每个任务记一行
- 同一个系统提示词每天被全价付了50次 → 缓存,把所有会变的内容移到末尾
- 顶级模型在给文件重命名、格式化JSON → 路由,简单步骤交给小模型
- 智能体还没写一个字就花掉25K token → 裁剪,把工具砍到它实际用的那几个
- 一个智能体因为同一个错误跑了一整夜 → 上限,加轮次限制和停止规则
- 所有智能体都在上午11点撞上限额 → 批量,把能等的工作挪到夜间
六个漏洞,六个杠杆,换个更大的套餐一个都解决不了。
烧掉套餐的常见错误
“智能体越多越省时间,所以要更多智能体。”
Anthropic自己的数字说得很明白:一组智能体的消耗约为普通聊天的15倍。12个智能体能塞进一个套餐,是因为每一个都便宜,而不是因为有12个。
每一步都开最大推理。
思考token按输出计费,是最贵的那一类。一个格式化步骤不需要花10,000 token去“思考”。
在决策步骤上削减token。
把简单步骤路由下去,永远别动计划制定这一步。一个便宜的错误计划,代价比一个昂贵的正确计划更高。
没有上限就重试。
同一个错误,全价,再来一次。重试循环是大多数意外账单的来源。
每天编辑提示词的开头。
上面改一行,所有缓存调用都会变回全价。
只盯着月度账单。
等它出现的时候,钱已经花完了;按任务记录的那一行,第一天就能显示出漏洞。
今晚从哪里开始
- 给你运行的每个智能体、每个任务加一行日志。
- 把日期和其他会变化的内容挪到提示词末尾。
- 挑出最简单的3个步骤,路由到小模型。
- 复制TOKENS.md,填好方括号,给每个智能体设上限。
- 把一个能等的工作移到夜间,然后对比这一周的效果。
做完之后再回头看:旧套餐里到底有多少花在了重复阅读上。
P.S. 在升级套餐之前,先读日志。你需要的空间,通常已经在里面了。