AI Pulse

一位开发者算了笔账:缓存模型输出,最多只省下4%的token

LLM推理的经济性取决于缓存[1]模型输入,以免每条消息[2]都重新计算整个对话历史。我们是否应该以同样方式缓存模型输出?事实证明,不行。

为什么要缓存输出?

先说说为什么我们可能认为缓存输出是个好主意。我们缓存输入是为了防止重复工作,但LLM在输出中也做大量重复工作:

- 当我让agent写PR时,我经常让它们在对话中重复并解释相关代码片段
- 长时间运行的agent调查会产出大量证据文档,但在回应用户时又需要引用这些文档
- 每次我玩自动化AI研究时,都会让agent重复一些样本模型输出,好让我自己做定性检查

在这些情况下[3],我本可以自己去看文件,但我不会。Agent产出的输出量太大,读agent输出又累人,所以干脆直接要要点更好。

重复所有这些内容显然是浪费token[4]。事实上,这比输入缓存的情况更糟,因为浪费的是输出token,而输出token的生产成本[5]比输入token的摄取成本高得多。

如何缓存输出?

如果想避免这种情况,你得让模型不再重复自己。例如,你可以微调或提示一个编码模型输出“src/script.py:12-15”,而不是简单地把文件里那几行原样吐出来。

更一般地说,你可以微调模型,让它引用自身对话历史的片段,而不是重复这些片段。然后harness可以轻松地用实际内容展开这些引用,这样一切对用户来说都是透明的。

为什么缓存输出大概率是个坏主意

不幸的是,这些都不是好主意,因为它只优化了可见输出。我不认为模型会在内部思维链[6]中经常重复自己。我读不到前沿模型的思维链,但从开源模型和一般原则来看,我的感觉是它们不应该需要重复,因为那些信息对它们来说已经可得。所以优化重复只优化了模型输出中对用户可见的那一部分。那有多少呢?

根据我自己的agent历史记录,大约6%。输出token中50%是推理token,其余44%是工具调用[7]。所以我们一头撞上了Amdahl定律:即使你能省掉可见输出中三分之二的token(一个乐观到离谱的估计),你也只省下总输出token的4%。

如何节省输出token

如果你想节省输出token,就需要减少那94%不可见的输出token,而这在很大程度上取决于智能。模型[8]越聪明,它得出正确答案所需的推理token和工具调用就越少。这就是为什么我们看到一个奇怪现象[9]:更贵的模型实际上用起来更便宜——它们的每token价格可能贵5倍,但得出正确答案所需的token少6倍,所以总成本更低。

[1] 在KV cache中。
[2] 包括工具调用。
[3] 编码agent过去常常在工具调用中重复token(例如每次编辑都重新输出整个文件内容),但我认为这种行为大多已被更高效的查找替换编辑工具取代。
[4] 我很确定大多数成熟的推理提供商已经基于输入中先前的ngram进行推测性解码,这至少能利用输出重复来加速。
[5] 原因大致上也是transformers如此重要的原因:由于注意力机制,输入token可以并行摄取,而输出token必须一次生成一个。
[6] 我对此只有中等程度的信心。一些开源推理模型(尤其是早期模型)确实会重复,但这些模型在相同输出下使用的token也远多于前沿模型,所以我猜强大的前沿模型不会经常在思维链中循环。
[7] 工具调用也可能涉及一些重复,如果agent在思维链中组织内容,然后在工具中重复它。任何用开源模型做过大量编码(或在前沿实验室工作)因而知道答案的读者,如果可以请给我发邮件——我很好奇。
[8] harness越好也一样,不过我仍然相信harness质量没有那么多比较优势,因为大家都能互相抄。
[9] 这也适用于现实生活,也是为什么你不该找最便宜的水管工的原因。

阅读原文
📚 相关主题 工程商业

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新