DeepSeek 把整套推理服务栈免费开源了

Engram 是 DeepSeek 在 2026 年最重要的突破，考虑到他们刚刚免费向公众开源了整个推理服务技术栈，这个评价已经相当高了。

以下是 DeepSeek 公告的完整中文译文（我会略去粉丝式的吹捧）：

DeepSeek 开源推理框架：迈向真正普惠的未来

大模型的能力边界由模型本身定义，但要以合理成本服务超大规模模型，还依赖着一层长期被公众忽视的中间层：推理框架。训练是模型学习的方式，推理则是它对人们产生价值的方式。面对如今海量的用户请求，推理框架负责编排和调度庞大的计算集群，其效率直接决定了 AI 服务的计算成本和功耗。

DeepSeek 长期致力于将推理性能推向极限。在我们此前开源一系列大模型、TileLang 编译器工具链以及推理算子库的基础上，我们决定更进一步，全面开源内部推理框架 DeepInfer。

“与众为善，共享技艺，使众人皆精。”通过分享我们的内部部署经验，我们希望帮助开发者和企业优化大规模推理的吞吐量和延迟，从而高效构建私有云和公有云部署，降低计算成本，减少能耗，以更低的价格将智能带给更广泛的人群，让大模型真正实现普惠。我们也将继续支持社区优化大规模部署，欢迎大家加入我们的开源事业。

DeepInfer

借助 DeepInfer，我们已为 DeepSeek V4.1 Flash 实现了高吞吐量、低延迟的大规模推理服务。未来，DeepSeek 新模型的推理代码及后续优化也将继续在此发布。

DeepInfer 推理框架：一款集高性能算子与深度优化于一体的推理引擎。支持分布式推理、投机解码、SWA Bounded Replay、结构化输出等功能，兼容 NVIDIA 和华为昇腾平台。

deepseek-recipe 编码/解码组件：生产级 token 编码/解码组件，与 DeepInfer 同步开源。它与 DeepSeek 官方 API 的处理逻辑完全对齐，让社区获得与我们官方部署一致的 API 体验。

开源仓库

DeepInfer：

deepseek-recipe：

将链接复制到浏览器或点击“阅读原文”，即可在知乎上查看 DeepSeek 的技术报告：

展望未来

随着模型、算子库和推理框架的全面开源，我们期待在不远的将来，全球 AI 服务的覆盖范围和质量能得到前所未有的扩展与提升，变得更加公平、透明和可信。我们希望这能加速全社会的技术进步，减少能源浪费，让有限的资源在基础设施和终端用户之间更高效地流动，以人人都能负担的成本交付更强大的智能，以及随之而来的善意与无限可能。DeepSeek 将与大家携手，不懈努力，让这一愿景成为现实。