新AI架构来了，它能让大模型变快又变便宜

早上发完周报，运营同事导出数据整理分类，花了半小时。

如果用传统大语言模型（就是我们平时用的聊天式AI）做这件事，它会一个字一个词慢慢生成结果，哪怕结果只是简单的几个分类标签。现在一群开发者推出了专门针对这类任务的新AI架构：约束解码模型（CDMs）。

传统大语言模型天生就是用来逐字生成内容的，每生成一个词，都要从几万个候选词里挑一个，一步步循环往下写。但很多实际生产场景只需要一个准确直接的答案，不需要从头生成一大段话。

CDMs就是为单一任务量身打造的，它读完输入内容后，跳过了逐词生成的循环步骤，从原理上就比传统大语言模型更快更便宜。目前已经有三款可用的CDMs，其中一款支持分类任务，可以自定义需要的标签。

@neal_k_patel 认为：既然已经从输入里拿到了答案，为什么还要让大模型从头开始写出来呢？

@omarsar0 提到：支持百万token（可以理解为文字碎片，1百万token大概对应75万字）输入的多模态决策模型已经来了，现在可以处理百万量级的图文输入，完成分类、信息提取和总结任务。

开发工具LangChain已经和CDMs开发团队合作，推出了开源的接入包，开发者可以直接把这类模型接入自己的AI智能体（就是能自动完成多步任务的AI程序）。目前已有验证数据显示，同类型的速度优化模型Mercury 2，比主流速度优化大语言模型快5倍，推理成本也大幅降低，还能实现更低延迟、更高输出可靠性。

对每天要处理大量分类、提取信息这类简单重复任务的人来说，这意味着原来需要花大价钱用慢模型做的事，现在可能更快更便宜就能完成。开源接入包已经存在，普通开发者也能直接拿来用。

下一次你手机里的APP给你快速推送分类好的资讯，成本会不会比之前低一半？