AI Pulse

模型更换后旧配置未必最优:Codex CLI+GLM-5.3成本最低,换Muse跌至12

Runta 和 Baseten 做了一组测试。22 种编码代理配置,配 5 个模型,62 个任务,一共 27,280 次试验。结论不复杂——换模型会改变哪个配置最划算。

配置和模型是绑在一起的。不同配置处理上下文、调用工具、重试、把错误反馈给模型的方式不一样。模型恰好也在这几处各有各的失败方式。所以换模型不只是换一个更强的模型。原来的提示词结构、工具调用节奏、重试策略,都可能反过来拖慢速度、抬高成本。

Codex CLI 配 GLM-5.3,每通过一个任务花 0.803 美元,是全场最低。同一套配置换成 Muse,排名掉到第 12。研究者把 62 个任务反复重采样,这个组合在 99.6% 的样本里保住领先。另外四个模型的获胜组合只在 25% 到 53% 之间守住优势。

这些数字要打折看。基准是供应商自己跑的,Runta 卖的正是代理运行时基础设施。成本通过率还把三件事混在一起:配置能不能让模型答对,路上烧掉多少令牌和重试,任务本身有多难。三样揉进了一个数。62 个任务怎么构成——偏重哪种语言、仓库多大、属于哪类活——原文没交代。

照抄那个获胜组合没什么用。更实际的做法是在自己的任务上重跑一遍配对比较。同一批任务,同一个起始状态,两种组合都跑。任务数量要够,才能给成本通过率算出置信区间,还得按自己实际干的活分层。

0.803 美元这个数字,得先知道它对应的是哪些任务,才有意义。

关键事实

阅读原文
📚 相关主题 基准测试

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新