neal_k_patel发布Constrained Decoding Models (CDMs) 新AI模型架构(1M)

你已经把答案给大语言模型了，那为什么它还要从头生成一遍呢？

现在介绍一种全新的AI模型架构：Constrained Decoding Models（CDMs）。

传统大语言模型生来就是逐词生成的，但大多数生产工作负载只需要一个答案：要快、稳定、便宜。

CDMs每个都专为单一任务构建。它们只读取一次你的输入，跳过了让大语言模型变慢变贵的逐token生成循环。

它不只是一种决策模型，目前已经有三种CDMs投入使用：
- 分类：你定义标签，返回每个标签的校准概率以及推理过程。用于路由、打标签和意图检测。
- 抽取：你用自然语言描述需要抽取的实体，返回格式规整的JSON，附带置信度分数和引用来源。用于网页抓取、文档处理和PII脱敏。
- 摘要：输入长文本、图片或PDF，返回不超过1000token的稳定摘要。用于上下文压缩、元数据生成和转录文本整理。

专为生产构建：
- 支持100万token多模态（文本+图片）输入，比Jev大31倍
- 在DecisionBench上达到77.2%，Jev为72%
- 比前沿大语言模型API快200倍，便宜467倍
- 每百万输入token收费0.05美元，输出免费（没错，摘要任务也免费）

现在已经可以在你常用的平台使用了：@OpenRouter @vercel_dev @LiteLLM @LangChain @TrustedRouter @itsArthurAI @useRouterPlus

在下方链接可以免费获得5000万输入token（前50小时）👀