最佳模型路由必然是任务特定的

模型路由现在是非常热门的方向。过去一个半月里，OpenRouter推出了复合模型Fusion，可将提示词分发至多个前沿大模型，再整合生成统一答案；Cognition推出了Devin Fusion，可让前沿大模型与低成本“辅助模型”并行运行，再通过分类器切换调用；Factory推出的路由能保留Claude Opus 4.7在Terminal-Bench 2上99%的通过率，同时成本降低20%；甚至Vercel也已在AI网关中提供路由功能。近期ShortcutAI发布文章展示了，他们通过调整路由框架和模型组合，打造出一款表格代理，准确率远高于处理Excel的Claude，同时生成Token数量更少。

行业宣传都指向同一个逻辑：没人愿意为每一个Token支付前沿大模型的价格。

这个趋势真实存在。我认为，最优的路由一定是深度绑定特定任务的；你越聚焦单一工作流程，就能在准确率和成本两方面获得越多收益。你不需要给所有任务都用前沿大模型，但要想弄清楚哪类任务用哪款模型就能达标、同时满足成本和延迟要求，只有深耕该任务的团队才能做到。

大模型的能力分布是不均匀的，“够用”的标准，以及愿意为提升几个百分点准确率支付的成本，完全由任务决定。不了解具体任务的路由，只能盲目猜测。

前沿大模型大规模处理每一个Token的成本太高，比如Fable这类模型，批量推理每小时就要花费600美元，而大多数工作不需要这么强的能力。成本收益曲线在接近顶端时会变得平缓：成本大幅下降，但质量几乎没有变化，因为原本由前沿大模型处理的工作，完全可以交给成本更低的模型，效果不会打折扣。Factory就利用这段平缓区间，在保持通过率不变的前提下降低了20%到25%的成本；Cognition的Devin Fusion提出“全场景只用一个模型的时代即将结束”，它在保持Fable 5级性能的同时降低了35%的成本，现在用户88%的合并PR都直接来自该路由。

OpenRouter在这方面做得很好，Fusion发布时我就表达过这个观点。但Fusion是一个集成模型，主打提升复杂开放问题的回答质量——这类问题出错成本高，值得付费调用多个模型生成结果。任务特定路由解决的是另一个问题：面对这个特定输入，哪条路径成本最低，同时能满足这项任务的质量要求？通用网关可以跨供应商路由，还能在端点故障时切换降级，但它不知道你扫描的贷款文件第三页是复杂表格，需要专门的视觉模型，而第一二页只是纯文本，用低成本直接提取就够了。通用网关不了解你的输入类型，因为它并不专注于任何一项特定任务。

编码代理只是最受关注的例子。看看那些推出成熟垂直AI产品的团队，你会发现相同的模式：每个团队都只在单一工作流内做路由，而且都深耕到足够了解，哪款模型能满足该任务的要求。

法律领域的Harvey是最典型的例子。他们的多模型系统会把请求拆分为子任务，为每个子任务选择对应模型，最后整合结果——他们认为“没有哪个单一模型能在所有场景表现最优”，因此把高容量的Vault工作交给Sonnet 4.6、Gemini 3 Flash这类对延迟更友好、质量也达标的更快模型，同时还在后训练自己的开放模型，用更低成本达到接近前沿水平的法律任务表现。

客服领域的Decagon也采用同样的思路，Jesse的表述是我见过最清晰的：当一个用例还处于新兴阶段，你需要最智能的通用模型，但“当用例完全搭建完成……通用智能就是多余开销”，你需要“体积最小、速度最快的微调模型，专门把这件特定的事做到极致”。现在Decagon约90%的工作负载都运行在微调后的开放模型上。

这两家都没有只依赖单一模型，而是用自己深度了解的多款模型逐步优化单一任务，这种对任务的理解是通用路由无法获得的。这就是Sarah Guo提出的“不可训练”最具体的体现：任务难点和评分标准都是只有从业者才能从真实大规模数据中获得的私有信息，下个季度推出的更强前沿大模型也不会把这个信息送给你。这就是额外收益的来源，还会不断累积。

很多人原本以为，前沿大模型会完全取代文档解析工作，实际并没有。在我们开源的基准测试ParseBench上，前沿视觉语言模型（VLM）擅长视觉理解，但排版处理能力很差——GPT-5-mini和Haiku在视觉定位上的得分低于10%，而专门的解析器得分在55%到80%之间，没有哪一种单一方法能在全部五个维度上排名第一。Gemini把思考强度从最低调到最高后，得分只提升了约5分，成本却翻了四倍，而且你还会在纯文本页面浪费视觉Token，这些页面根本不需要视觉语言模型处理。

文档光学字符识别的正确架构，需要一个复杂的“路由器”（更准确地说，是复杂引擎），由多个组件协同工作，针对特定数据领域和任务分布精心调优。LlamaParse内置了这套架构：智能框架会用自我优化的文档复杂度模型，自动为不同页面分配前沿模型或专用模型，针对只包含文本的页面，自定义文档引擎可以减少50%到90%的视觉Token，还有针对表格、图表后训练的专用视觉语言模型，以及负责验证输出的智能判断器。它在成本-准确率曲线上处于前沿位置——我们的智能模式得分达到84.9%，在五个维度中赢下四个，高性价比模式的排名也接近顶端，每页成本大约三分之一美分。

和前沿模型的视觉能力相比，文档理解的帕累托曲线上永远存在一块巨大的空白。我们设计LlamaParse就是为了最大限度开发这块空白的价值。

两类路由最终会承担不同的角色。OpenRouter这类通用网关负责宽泛的供应商级路由与集成，包括监控哪些模型可用、当前哪个模型成本最低、什么时候需要汇集多个模型处理复杂通用问题。额外收益都出现在任务特定层，只会属于那些在工作流上深耕最深的团队：软件工程领域属于Factory和Cognition，法律领域属于Harvey，客服领域属于Decagon。文档领域，我们打算占据这个位置。如果你也希望在路由前沿和开源视觉语言模型的过程中，把每一分钱都用在提升文档准确率上，欢迎来和我们一起搭建。