AI Pulse

TypeSafe AI发布Jev:分类比大模型快200倍,成本低400倍

TypeSafe AI发布Jev:分类比大模型快200倍,成本低400倍

TypeSafe AI 发布了一款叫 Jev 的模型,专做分类判断。一条消息算不算紧急、一个操作有没有越界,这类问题都归它判断。Jev 不生成文本,只对输入状态做判断,返回类型化答案和概率。

Jev 不是传统的大语言模型。TypeSafe AI 管它叫 System One 模型,训练方法叫 RLCD——用强化学习校准决策。它支持三类问题:Choice(选择)、Score(评分)、Noul(是否)。一个请求里的问题会并行评估,加问题几乎不增加响应时间,多付的 token 费也很少。

调用方式也和普通大模型不一样。LangChain 通过 TypeSafeClassifier 接入 Jev。调用时把状态和问题传给 .invoke(),拿回的是分类结果,不是聊天回复。状态可以是文本、结构化数据或 LangChain 消息。

Jev 一个直接用处是执行前拦风险。claude、codex、cursor 这些编码工具早就内置了危险操作分类器,动作发生前判断会不会越界。但这步一直锁在闭源组件里。Jev 让开发者把这层检查放进自己的代理。TypeSafe AI 的 AutoModeMiddleware 就是用它检查工具调用,在工具执行前拦下风险操作。

它还能做模型路由。按请求复杂度挑模型。简单任务交给便宜快速的判断模型,复杂任务再动用大模型。省成本,也不牺牲回答质量。已经有开发者拿它做了实际应用。Browserbase 的 Kyle Jeong 用 Jev 驱动浏览器代理。Jarrod Watts 搭了实时交易代理。Ryan Vogel 做的是邮件分类应用。

TypeSafe AI 没把 Jev 定位成大模型的替代品。现在很多拿大模型干的分类活儿,Jev 可以接手。开放式推理和生成继续交给大模型,中途快速、结构化的判断交给 Jev。

阅读原文
📚 相关主题 工程开源

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新