模型更换后旧配置未必最优:Codex CLI+GLM-5.3成本最低,换Muse跌至12
Runta 和 Baseten 做了一组测试。22 种编码代理配置,配 5 个模型,62 个任务,一共 27,280 次试验。结论不复杂——换模型会改变哪个配置最划算。
配置和模型是绑在一起的。不同配置处理上下文、调用工具、重试、把错误反馈给模型的方式不一样。模型恰好也在这几处各有各的失败方式。所以换模型不只是换一个更强的模型。原来的提示词结构、工具调用节奏、重试策略,都可能反过来拖慢速度、抬高成本。
Codex CLI 配 GLM-5.3,每通过一个任务花 0.803 美元,是全场最低。同一套配置换成 Muse,排名掉到第 12。研究者把 62 个任务反复重采样,这个组合在 99.6% 的样本里保住领先。另外四个模型的获胜组合只在 25% 到 53% 之间守住优势。
这些数字要打折看。基准是供应商自己跑的,Runta 卖的正是代理运行时基础设施。成本通过率还把三件事混在一起:配置能不能让模型答对,路上烧掉多少令牌和重试,任务本身有多难。三样揉进了一个数。62 个任务怎么构成——偏重哪种语言、仓库多大、属于哪类活——原文没交代。
照抄那个获胜组合没什么用。更实际的做法是在自己的任务上重跑一遍配对比较。同一批任务,同一个起始状态,两种组合都跑。任务数量要够,才能给成本通过率算出置信区间,还得按自己实际干的活分层。
0.803 美元这个数字,得先知道它对应的是哪些任务,才有意义。
关键事实
- Runta和Baseten测试了22种编码代理配置和5种模型,共进行了27,280次试验。
- Codex CLI与GLM-5.3组合的每个通过任务成本最低,为0.803美元,但在Muse模型下排名第12。
- 更换模型会改变哪个配置提供最佳价值,因此模型升级后需要重新测试配置。
- 在重复重采样62个任务时,Codex CLI与GLM-5.3在99.6%的样本中保持领先。
- 其他四个模型的获胜组合仅在25-53%的重采样中保持领先。
- 该基准测试由供应商Runta运行,Runta销售代理运行时基础设施。
- 评论者指出,成本通过率混淆了三个因素:正确率、消耗的令牌和重试次数、任务难度。
- 评论者建议,在行动前需要了解62个任务的任务构成,例如是否偏向某种语言、仓库大小或任务类型。
📚 相关主题
基准测试