Panda Orchestrator 开源,能省 78% 调用成本
隆重推出 Panda Orchestrator(开放权重):速度最快、准确度最高、而且真正懂模型的编排器。它能根据模型的专长进行编排,在同等性能下为你节省最高 78% 的成本和最高 30% 的时间。
你有没有想过?如果连 Opus 5.5 都不了解自己,那它到底要怎么判断 Sol、Astra、Luna、Opus、Fable 哪个更好?如果你要把这些上下文都喂给它,那成本会非常高,速度也会非常慢。
为了在不让你花一大笔钱的前提下解决这个问题,我做了 PandaRouter:一个 31 MB 的任务分析器 + 模型卡匹配器,能选出最便宜或最可能成功的模型。这是一个专门训练的 31MB 模型,非常擅长根据任务来决定用哪个模型。它是开源的,附带数据和训练配方。
现在 PandaCode 已经上线了这个功能:如果你在那里使用团队功能,它现在可以在 10-25ms 内为每个任务选出合适的模型,而且全部在本地完成。Opus 在较低配置下大约需要 1-2 分钟。你的主模型可以把任务交给这个分析器,它能在 25ms 内为你的任务选定模型并开始工作。
而且还不止于此……这个分析器有 3 种编排选择类型:便宜、均衡、最佳。在“便宜”模式下,它会考虑成功概率,让你通过使用更便宜的模型来节省一些成本和用量。
该模型会接收完整的模型卡(包含排名、价格、缓存价格和基准测试详情的列表)来做出决策。模型卡是完全可定制的,可以添加或删除不同的模型,甚至可以对它们进行排名(可在 PandaCode 设置中找到)。目前整个模型卡列表包含约 80 个模型,并且会持续增加。
如果你把整个模型卡列表都给 Opus,每次编排的成本将超过 5 美元,而且决策时间更长(最多 3 分钟,而 PandaRouter 只需 12-25ms)。它已在 PandaCode 中上线,并能在你电脑上可用的所有模型之间进行路由(Claude Code、Codex、DSH 等)。
该模型本身采用 MIT 许可证,任何人都可以以任何方式使用:你可以在 PandaCode 内充分利用它(无遥测):
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖