DeepSeek开源模型和推理引擎，但智能体还得自己搭

讨论AI进展时，我们通常从模型能做什么开始。但当我们把一个能力强的模型当作智能体使用时，别的问题就冒出来了：谁能运行它？成本多少？我们怎么把它连到工具上？我们常在YouTube的Attention Span节目里探讨这类问题。

这次又是DeepSeek，而这一回，它的故事不止于领先的推理模型。它开放了一个推理引擎、一个智能体运行框架，以及一直深入到芯片之间数据如何流动的库。合在一起，这些让我们看到模型周边很大一部分的机制。

但看到机制和把它跑起来是不同的问题。这套栈里，我们究竟能有多少用来搭建智能体？又有多少仍然依赖DeepSeek的托管服务或私有基础设施？

在这里，我们沿着这些部件，从模型走到智能体，再走到它周边的基础设施，看看DeepSeek把什么交到了我们手里，又打开了什么。开始吧 →

一切都始于模型：DeepSeek-V4.1-Flash

如果你打算严格只使用DeepSeek开源出来的东西搭建一个端到端的编程智能体，模型是显而易见的起点。

这是一个了不起的模型。最新的DeepSeek-V4.1-Flash在2026年9月10日发布，带来了多模态推理、编程和智能体工作流。DeepSeek称，基础模型在一系列基准测试中与V4-Pro-Base表现相当，有些任务结果更强，有些分数更低。10月17日带来了V4.1-Flash-1017更新，如今更新后的权重已按MIT协议提供。

有一个结果有助于解释为什么这对智能体重要：模型的全局KV缓存（用来存储信息、帮助它复用此前已处理过的上下文）每token占用890字节，约为对应的V4 Flash占用量的四分之一。更小的缓存能让长上下文更容易贯穿一次会话。这里衡量的是全局KV状态，不是整个运行中模型的内存占用。

在架构上，V4.1 Flash是一个多模态混合专家模型。它5520亿的主干参数搭配1960亿Engram参数，这些参数构成了一个在训练中学到的稀疏查找记忆库。Engram让模型能够按条件访问外化的知识权重，而不会使活跃的KV缓存膨胀；它也有别于用户的提示词或对话历史。

这个模型处理输入的方式很有意思。它的40层被拆成一个20层因果编码器和一个20层解码器。解码器的全局KV状态由编码器的最终状态投影而来。因此，大多数提示词token可以绕过完整的解码器计算。它在预填充阶段每个token使用80亿激活参数，在解码阶段使用160亿。但局部滑动窗口注意力仍然需要额外的工作。

V4.1 Flash还使用了有界重放：它从一个短后缀近似重建近期的滑动窗口状态。这是用一些重算来换取更低的持久存储需求。但要注意，近似计算和稀疏选择的误差，可能在其评估未覆盖的情形中造成问题。

压缩稀疏注意力2（Compressed Sparse Attention 2）处理的是另一处重复。有些层创建全局KV状态并选出相关条目，另一些层则复用该状态，或同时复用状态与选择结果。结合低精度FP4缓存，这就是模型缩小那部分全局KV占用的方式。

对智能体来说，这些选择旨在削减长上下文不断叠加的成本。它是否真的划算，取决于你如何在模型周围搭建服务栈：基础设施。

DeepInfer：运行模型需要什么？

拿到模型之后，下一步是弄清楚如何高效地运行它；在DeepSeek这里，方案是DeepInfer。DeepSeek把它描述为其生产服务背后的推理框架。公开发布版目前支持离线推理。

那么里面有什么？

DeepInfer给开发者提供了不少拼图块。首先，它包含DSpark投机解码：一个草稿模型提出若干token，置信度估计帮助判断其中有多少值得验证。加速幅度部分取决于有多少草稿token被接受。与此同时，异步调度让加速器在CPU准备下一批数据时保持忙碌，减少计算步骤之间的空隙。它支持的硬件是NVIDIA SM100 GPU和华为昇腾950 NPU。

但当多个用户同时开始使用它、更多不确定性出现时，现实就来了。每个请求该去哪里？它能复用已经处理过的上下文吗？公开发布版把共享KV缓存存储、分开的视觉、预填充与解码服务以及负载均衡，都留给开发者自己组装。引擎处理它自身的内部KV状态。要在整个服务中共享并复用它，需要更多基础设施。

DeepSeek的部署指南让人感受到预期的规模：64张GPU做预填充，再加64张做解码，是它推荐的最小高效服务配置。指南还说，一个预填充实例和一个解码实例是可以部署的。

所以DeepInfer让我们能够检视并改造这个引擎。但为用户运行一个编程智能体，还需要围绕它的一个服务系统。还有个问题：模型跑起来之后，智能体如何与工具协作？

DeepSeek Harness让你能改什么？

现在我们来到了最有趣的部分 →

在此阅读全文：https://www.turingpost.com/p/deepseek-opened-its-ai-stack-how-much-can-you-actually-use