LlamaIndex：模型越来越通用，每个任务的那本账还得自己算

每个任务在成本、准确性和延迟方面都存在一条帕累托前沿。AI 的巨大机会之一，就是帮助公司在其真正关心的任务上抵达这条前沿。

与此同时，每个任务都有目标价格和所需的准确性水平——在这个点上，所创造的经济价值能让利润率状况变得有吸引力。一条客服回复、一份合同审查、解析一页财务报告，三者有着截然不同的经济账。正确的工作点取决于做对任务的价值、做错的成本，以及结果需要多快返回。

像 Codex 这类应用中的前沿模型，在给定一个“简单”提示词 + 连接的 MCP 服务器 + 文件系统访问权限的情况下，会继续为许多任务提供越来越高的准确性。它们持续吸收海量的领域知识——我预计它们会在推理和大上下文检索方面继续进步，这得益于所有投入训练数据的工作。

然而，对于特定任务而言，通常仍存在巨大的机会去继续提升准确性、降低成本、降低延迟。

抵达正确的工作点

第一步是为你想达成的目标定义正确的评估标准。定义目标的方式有很多：用自然语言描述、由 LLM 作为裁判来评估，用确定性指标，或者两者结合。评估标准应当涵盖那些让输出变得有用的要素：保留表格结构、遵循退款政策、或按照你自己的标准标记合同条款。

你还需要衡量每个成功任务的总成本，包括重试和人工审核。一个更便宜的模型如果每隔一个输出就需要有人修正，成本很快就会变得高昂。

在这之后，你可以通过多种方式优化任务：

预加载模型 + 智能体所需的相关上下文，而不是让它通过 MCP 去检索这些上下文。如果你已经知道任务需要哪些政策、文档或账户细节，就可以消除大量不必要的发现过程和工具调用。当上下文聚焦且可复用时，这能大幅降低延迟和成本；把所有东西一股脑塞进提示词也有它自己的代价。

把任务中国有的人类偏好编码进去，让智能体更好地满足当下的评估标准。一些例子包括法务团队偏好的备选条款、分析师采用的估值方法，或下游系统期望的精确 schema。这能避免人类花时间反复解释同样的偏好，或亲自用像 Codex 这样的通用智能体来纠正同样的输出。

模型路由与执行框架优化。这可能意味着对简单任务混用更便宜的模型，对困难情况使用更强的模型。也可能意味着把一次智能体运行编译成半确定性的工作流：一旦你知道哪些步骤可靠有效，就不需要智能体在每次运行时重新发现它们。你可以把灵活的推理保留给真正需要它的部分。

后训练，或任何类型的训练。这让你能把期望的行为编码进模型本身，从而用更小、更便宜的模型在特定任务上获得更高的准确性。机会在于以低一个数量级的推理成本达到你所需的准确性，即使前沿模型的能力会逐渐追上。这是否划算，取决于任务量、训练信号的质量以及维护模型的成本。

这些方法可以相互叠加。前沿模型可以帮你发现一个工作流，成功的运行可以变成训练样本，而你的评估标准可以告诉你哪些步骤可以交给更便宜的模型来完成。

这就是“拥有你自己的智能”对我的意义——拥有任务定义、上下文和偏好，以及随时间的推移不断改进性能的反馈循环。你可以从通用智能体起步，在了解系统在哪些地方失败的过程中，逐步积累这些资产。每一次人工纠正都会成为一个潜在的评估用例、工作流改进，或训练样本。

打包成果

我看到许多公司在追逐这个机会，要么直接提供优化后的成果，要么提供工具帮助用户自己抵达那里。

像 Sierra、Harvey 和 Rogo 这样的垂直 AI 公司专注于客服、法律和金融领域。“预打包”方式的价值在于，用户无需用通用智能体自行组装和运营一切，就能获得领域特定的工作流和上下文。

像 Applied Compute 和 Trajectory 这样的基础设施公司提供工具，让用户在自己的任务和生产数据上训练和改进模型。

当前沿模型推动原始智能的前沿时，专用模型和智能体将推动所有有意义的工作任务的前沿。

在 LlamaIndex，我们把自己视为一家专为文档解析的帕累托前沿而构建的专用模型公司。解决这一特定任务意味着专注于 PDF（以及其他文档）所特有的大量长尾失败模式：在多栏布局中保持阅读顺序、重建跨多页的密集表格、理解密集的无标签折线图、理解施工图，等等。我们构建了全面的基准（ParseBench、ExtractBench），并用它来指导我们推进前沿的探索。

如果你有兴趣让我们帮你推进文档理解和文档工作的前沿，欢迎来和我们聊聊！