TypeSafe推出按需付费决策模型Jev,单价极低延迟低
Jev是TypeSafe推出的一款模型,它不生成文本也不展示推理过程,本质上是通过API提供决策服务。它采用按需付费模式,延迟低,价格极低,用户输入状态(包含事实的JSON)和指定类型的问题后,会返回结构化JSON结果。
Jev提供三种输出模式:第一种是NOUL模式,返回“是”的概率和置信度,由用户自行根据阈值判断布尔结果。第二种是SCORE模式,在用户自定义的评分等级上给出得分,同时返回每个等级的概率和置信度。第三种是CHOICE模式,从最多255个选项中选出一个结果,同时返回每个选项的概率和置信度。
价格方面,大约每千次决策收费0.03美元,具体费用取决于输入,输出免费。Jev的使用场景是在现有业务流程中加入自然语言问题和自定义上下文,输出结果作为逻辑判断节点加入流程,例如判断交易是否涉嫌欺诈、支持工单是否申请退款、消息是否包含提示注入、代码片段是否执行异常回滚等。
它足够便宜,可以作为其他服务、模型或人工处理前的过滤器,对任意请求使用。在Visor产品中的部分测试结果如下:判断月度收费是否为可取消订阅,准确率88%,涉及保险相关场景准确率为93%;将消费归属到账单的准确率为65%,低于Visor现有内部规则的82%;对PDF在140个分类中自动归类准确率为41%,远低于Gemini;在聊天中作为工具路由反而增加了成本,因为Gemini的缓存已经覆盖了86%的前缀。
测试中发现几项能大幅提升结果效果的约束条件:每个问题只做一项决策;一个大范围选择拆分为多个小的NOUL判断,效果好于直接选大范围;将聚合后的SQL结果交给Jev判断摘要能得到不错的结果;让Claude用本地API密钥测试效果很好;每次调用都设置置信度阈值,低于阈值就放弃调用,沿用原流程;发送状态前记得清理可识别个人身份的信息(PII)。
Jev的低价格(每千次决策仅几分钱)和低延迟(不到1秒),让之前人工智能无法大规模快速应用的领域有了新可能。这些领域包括:时尚家居领域判断商品是否符合用户的收藏风格;内容社区判断评论是否违反社区规则,根据严重程度和置信度自动决定发布、提醒还是人工审核;所有需要大量小型决策但人力有限的产品。
具体场景包括:支持工单自动分类、电商平台规范卖家广告并将存疑内容送审、保险信贷领域自动处理清晰案例,存疑案例转分析师、招聘中根据能力证据评分而非光鲜简历、搜索根据相关性重排结果、生成式AI应用在展示结果前检查每一次输入输出。
总结就是,目前所有需要人工排队审核、设置固定阈值决策、或调用大语言模型(LLM)做是非判断的场景,都可以调用Jev,通过设置置信度阈值得到可能更“准确”的结果。
还有一个很受关注的使用场景:拉取请求(PR)风险分级,供机器人或智能体直接判断是否合并,相关案例见链接: