DeepSeek 开源内部推理框架 DeepInfer，兼容英伟达与昇腾

DeepSeek 公告的完整中文原文，翻译如下（我就不写花痴的话了）：

DeepSeek 开源推理框架：迈向真正普惠的未来

大模型的能力边界由模型本身定义，但要以合理成本服务超大规模模型，还依赖于长期被公众忽视的中间层：推理框架。训练是模型学习的过程，推理是模型服务于人。面对今天海量的用户请求，推理框架编排调度着庞大的计算集群，其效率直接决定了 AI 服务的算力成本与能耗。

DeepSeek 长期致力于将推理性能推向极限。在我们此前开源一系列大模型、TileLang 编译工具链、推理算子库的基础上，我们决定更进一步，将内部推理框架 DeepInfer 完全开源。

“与众为善，共享其技，使众亦善。”通过分享我们内部的部署经验，我们希望帮助开发者和企业优化大规模推理的吞吐与延迟，高效构建私有及公有云部署，降低算力成本、减少能耗，以更低的价格将智能带给更广泛的人群，让大模型真正普惠。

我们也将持续支持社区优化大规模部署，欢迎大家与我们一起开源。

DeepInfer

使用 DeepInfer，我们已实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务。后续 DeepSeek 新模型的推理代码及持续优化，也将继续在此发布。

DeepInfer 推理框架：融合高性能算子与深度优化的推理引擎。支持分布式推理、投机解码、SWA Bounded Replay、结构化输出等，兼容 NVIDIA 与华为昇腾平台。

deepseek-recipe 编码/解码组件：生产级 token 编码/解码组件，随 DeepInfer 一同开源。与 DeepSeek 官方 API 的处理逻辑完全对齐，让社区获得与我们官方部署一致的 API 体验。

开源仓库

DeepInfer：

deepseek-recipe：

将链接复制到浏览器，或点击“阅读原文”查看 DeepSeek 在知乎上的技术报告：

展望未来

随着模型、算子库、推理框架的全面开源，我们期待在不远的未来，全球 AI 服务的覆盖范围与质量将得到前所未有的拓展与提升，变得更加公平、透明、可信。我们希望这将加速技术进步……