AI Pulse
📡 X 信号

Jev路由成本砍半,准确率和GPT-6 Sol相当

这是我见过的针对 Jev 这类 System One 模型最强用例之一。如果你在构建自定义工具,一定要仔细看看。

Jev 现在作为打包路由器提供。它是什么?你把对话发送到 typesafe/jev-router,然后 OpenRouter 会为每个请求选择模型和推理工作量。

选择正确的模型和推理工作量是一门艺术,至少可以说,手动操作效率很低。卸载推理工作量是合理的,但你希望它高效、智能且便宜。像 Jev 这样的 System One 模型非常适合这项工作。

它有用吗?我在一个用 Pi SDK 构建的自定义支持代理上测试了 Jev Router。我对固定的 GPT-4o 基线运行了相同的 8 个用例,总共有 32 次真实调用。两个都答对了所有用例。

路由器的成本不到一半(0.008 美元对 0.018 美元),中位响应时间也更短(1.5 秒对 1.9 秒)。这个样本很小,但很明显,在规模上,这会对成本和效率产生巨大影响。

我对 Jev 作为路由器最大的一个顾虑是缓存。虽然问题还没有完全解决,但 Jev Router 让我看到了希望:在自定义工具中实现更智能、更高效的路由模式,从而带来更好的权衡。

我已经分享了一个我很看好的路由模式实现。

这里的要点是,Jev 正在开启有趣的新模式(路由、验证、护栏、动态工作流、判断等等),你可以在自己的自定义工具中使用。我预计这个趋势会继续增长。而且像 Pi 这类更容易自定义的工具,获益会更多。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新