AI Pulse
📡 X 信号

便宜AI模型帮你自动调度昂贵大模型,省下不少费用

现在已经有开发者用最便宜的大模型,帮用户自动调度昂贵的大模型干活了。

Reddit的一名开发者制作了Claude Code插件,名为effortless。做这个插件的起因很简单:开发者经常忘记切换模型,索性所有任务都用最贵的模型运行,很多人应该都有类似的经历,比如改一个错别字也要最贵的Opus模型花费大量时间计算。

effortless的工作逻辑很简单:用户发送每条提示词(prompt)之前,先让便宜的Haiku 5.5模型读取最近的对话上下文,判断这个任务该分配给Haiku、Sonnet还是Opus,以及需要多大运行强度(effort)。简单任务自动丢给便宜模型处理,而且如果任务已经进行到一半,它不会中途切换模型。

Opus和Sonnet调整运行强度不会重新生成缓存,所以可以放心调整。但在Fable上调整运行强度会重建缓存,切换模型花费的成本比省下的还多,因此effortless直接关闭了Fable上的自动切换功能。

除此之外,它还会在缓存失效、对话内容过于臃肿的时候提醒用户开启新对话。开发者表示,虽然模型对任务强度的判断是估算,但几乎每次都和开发者自己选的一样。

这个插件的代码大部分是Claude生成的,开发者只负责测试、确定功能方向和修改不合理的部分。之前分配任务都是人工操作,但人们容易偷懒,习惯一律开最高档。现在换成更便宜的模型做调度,反而更准确靠谱。

effortless是免费开源项目,采用MIT许可证。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新