AI Pulse

DeepSeek开源DeepInfer:低价API背后的引擎,人人可部署

DeepSeek 发布了 DeepInfer,一个开源的高性能大规模推理框架,专门给自家模型跑推理用。仓库地址是 https://github.com/deepseek-ai/DeepInfer,能看、能改、能部署。

大模型响应快不快、跑起来贵不贵,很大一部分由推理引擎决定。DeepInfer 正是 DeepSeek 在用的那一套。

这套框架同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。运行时用环境变量 DEEPINFER_ACCELERATOR 切换,设成 nvidia 或 ascend。华为芯片进了支持列表,推理服务在英伟达之外多了一种选择。

配套仓库 deepseek-recipe 也一起放了出来。它用 Rust 编写、带 Python 绑定,做的是协议转换和模型输出解析。推理后端通过它对接 Chat Completions、Messages、Responses 这些 API 格式。后端写一次,多个常见接口都能接上。

DeepSeek 的 API 一直以便宜和快出名。评论区有人说,买它的 API,主因就是最便宜,响应还非常快。DeepSeek 在帖子里提到,每 GPU 每小时能带来 38 美元收入。这个数字没有独立证实,但如果接近真实,运行效率相当可观。

评论区围绕成本和性能吵开了。一种说法是,DeepInfer 能用低得多的成本跑出 GPT-5.6 Sol 级别的性能。做 vllm、sglang 的人觉得可以借鉴这份实现,把性能再往上提。还有人等着看三者的直接对比,官方目前没放基准数据。

DeepInfer 目前的硬件列表只有 NVIDIA SM100 和华为昇腾 950。有开发者在评论区要求加入 RTX Pro 6000,能不能加要看后续版本。

有评论说,把 DeepSeek 的成功归因于“蒸馏”或“窃取”并不准确。代码公开后,谁都可以查看它的实现。当推理引擎能被任何人部署,靠 API 收费的公司会面对一批用同一引擎做出来的对手。价格继续往下走的理由,又多了一个。

关键事实

阅读原文
📚 相关主题 开源推理框架

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新