不用买最贵大模型,还能少错近一半
有人花大价钱买顶级大模型,把所有查询都往里面塞。
结果不仅每个月账单超支,AI出的错还没减少多少。现在有了新的做法。
LLM路由(大语言模型路由)是一种根据任务要求,自动把每个查询发给最合适模型的方法,不用全都塞给同一个模型。
已有统计显示,2026年有37%的企业已经在生产环境中用5个以上大语言模型,表现最好的那些企业,会用动态路由的方式把请求分配给最合适的模型。
@withmartian 团队做了测试,在16个常用基准测试中,通过给每个任务分配最优模型的路由方案,错误率比单独用最好的单个大模型少了46%。
@DataChaz 认为:只要用模型路由分配请求,就能在完全相同成本下把大模型错误率降低54%。
@minchoi 认为:本来就不存在“最好”的AI模型,停止迷信单一顶级模型,就能得到这样的结果。
对普通开发者和中小企业来说,这意味着不用再咬牙承担顶级大模型的高昂成本,也不用接受低性能小模型的糟糕输出。
只要把不同任务分配给对应擅长的模型,就能在现有预算下拿到更好的效果。不同大语言模型本来就各有所长,有的擅长推理,有的擅长总结,有的擅长信息提取,路由只是把它们放在了正确的位置上。
现在已经有托管式的LLM路由服务,只需要一个接口就能拿到多个模型的访问权限,不用管理多个不同提供商的账号,门槛已经很低。
当越来越多企业开始这么做,你下次用AI服务的时候,可能已经享受了这个优化,只是还没发现而已。