AI Pulse
📡 X 信号

一个简单方法帮你节省最高95%的大语言模型token用量

一个简单方法帮你节省最高95%的大语言模型token用量

通过一个简单方法,你可以在调用大语言模型时节省最高95%的token用量,这个方法就是维护缓存。缓存维护原本比较麻烦,但可以实现自动化处理。

简单来说,缓存就是让大模型把你之前的交互内容存在临时缓存里,不用每次重新计算处理这些内容,因此消耗的计算量会大幅降低。AI服务提供商也会把这部分成本节省传递给用户,直接减少你的token账单花费,或者降低订阅额度的消耗。

但目前缓存的有效期很短:Claude的缓存有效期是1小时,Codex的缓存有效期是30分钟。过期后缓存就会消失,用户需要重新按全价付费。手动维护缓存确实很麻烦,不过已经有对应的自动化工具解决这个问题。

解决这个问题的插件叫做Prompt Cache Control,它不仅可以显示当前对话有多少比例的内容已经被缓存,还会显示缓存还有多久过期。更重要的是,它可以在缓存即将过期时给用户发送通知提醒。

用户如果灵活操作,可以在收到提醒后让Claude或ChatGPT发送一条任意消息触发缓存续期,从而保住缓存和最高95%的token节省。想要安装这个插件,只需要让你的AI代理安装对应名称的插件即可。

作者提醒,如果Anthropic或OpenAI的工作人员问起这个方法,不要说是从他这里知道的。作者同时邀请对这类AI实用技巧感兴趣的用户关注他的个人主页,订阅免费通讯获取更多内容。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新