AI Pulse
🔥 热点深度解读

不用买最贵大模型,还能少错近一半

有人花大价钱买顶级大模型,把所有查询都往里面塞。

结果不仅每个月账单超支,AI出的错还没减少多少。现在有了新的做法。

LLM路由(大语言模型路由)是一种根据任务要求,自动把每个查询发给最合适模型的方法,不用全都塞给同一个模型。

已有统计显示,2026年有37%的企业已经在生产环境中用5个以上大语言模型,表现最好的那些企业,会用动态路由的方式把请求分配给最合适的模型。

@withmartian 团队做了测试,在16个常用基准测试中,通过给每个任务分配最优模型的路由方案,错误率比单独用最好的单个大模型少了46%。

@DataChaz 认为:只要用模型路由分配请求,就能在完全相同成本下把大模型错误率降低54%。

@minchoi 认为:本来就不存在“最好”的AI模型,停止迷信单一顶级模型,就能得到这样的结果。

对普通开发者和中小企业来说,这意味着不用再咬牙承担顶级大模型的高昂成本,也不用接受低性能小模型的糟糕输出。

只要把不同任务分配给对应擅长的模型,就能在现有预算下拿到更好的效果。不同大语言模型本来就各有所长,有的擅长推理,有的擅长总结,有的擅长信息提取,路由只是把它们放在了正确的位置上。

现在已经有托管式的LLM路由服务,只需要一个接口就能拿到多个模型的访问权限,不用管理多个不同提供商的账号,门槛已经很低。

当越来越多企业开始这么做,你下次用AI服务的时候,可能已经享受了这个优化,只是还没发现而已。

📎 参考来源

查看原始推文

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新