AI Pulse

OpenRouter自动路由有隐患:同一模型在不同提供商行为可能不同

所以,你想用OpenRouter吗?(via)

OpenRouter的一大卖点是,它“自动处理回退,并为每个请求选择最具成本效益的选项”,因此你可以为某个模型调用单个API端点,然后被路由到最佳的后端提供商。

Mohamed Moustafa指出了一系列这一特性可能给你带来问题的方式。不同的提供商运行不同的服务软件,具有不同的优化和设置,这意味着同一个OpenRouter端点所服务的模型请求,其行为可能各不相同。

有些提供商甚至缺乏视觉模型所需的视觉能力,而“推理努力”选项的处理方式也可能不同。

值得庆幸的是,你可以使用provider.only选项来控制路由到哪个提供商。/endpoints方法会返回特定模型ID可用的提供商列表。

阅读原文
📚 相关主题 API大语言模型

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新