OpenRouter自动路由有隐患:同一模型在不同提供商行为可能不同
所以,你想用OpenRouter吗?(via)
OpenRouter的一大卖点是,它“自动处理回退,并为每个请求选择最具成本效益的选项”,因此你可以为某个模型调用单个API端点,然后被路由到最佳的后端提供商。
Mohamed Moustafa指出了一系列这一特性可能给你带来问题的方式。不同的提供商运行不同的服务软件,具有不同的优化和设置,这意味着同一个OpenRouter端点所服务的模型请求,其行为可能各不相同。
有些提供商甚至缺乏视觉模型所需的视觉能力,而“推理努力”选项的处理方式也可能不同。
值得庆幸的是,你可以使用provider.only选项来控制路由到哪个提供商。/endpoints方法会返回特定模型ID可用的提供商列表。