两张RTX 3090跑DeepSeek V4.1 Flash，2.6bit量化下26 t/s

模型创建与上传

使用 u/lxe 开发的 dsx 引擎，我构建了 DeepSeek-V4.1-Flash-1017-dsx-2.6bit 模型，主要面向编程和智能体（agentic）任务。模型权重已上传至 Hugging Face，可直接下载。

量化质量对比

下面是不同量化构建的对比表。其中 KL 为 KL 散度（越低越好），Top-1 为首选 token 的命中率（越高越好），Perplexity 为困惑度（越低越好）：

可以看到，2.61 bpw 构建在 KL 散度上比 Lucebox 的 2.5 bpw 版本更低（0.197 vs 0.253），同时 Top-1 提升了约 4 个百分点，说明动态量化把精度用在了更关键的地方。

加载时间与运行速度

dsx 引擎目前还不支持图片输入。加载 187.6 GB 的权重时，如果使用 HDD，大约需要 90–110 分钟；建议至少放到 SATA SSD 上。在 262,144 上下文窗口并启用 Engram 表（额外 203 GB）的情况下，我测得的生成速度为 26 t/s，提示词（prompt）处理速度为 170 t/s。

个人使用背景与硬件

我日常主要使用 qwen38-flash-next-2x3090，最近也在尝试 DeepSeek V4.1 Flash。我的硬件配置为：2 张 RTX 3090、Intel Ultra 7 270k Plus、192 GB DDR5 @ 5600 MHz。

社区讨论精选

原帖共有 22 条讨论，以下是一些高票回复：

- u/Stunning-Purple-8536：双 3090 上 26 t/s 对这么大的模型来说远超预期，等上传完我也打算试试。
- u/Thin_Pollution8843：Q1 会更快吧 😅
- u/drrck82：显卡用的什么 PCIe 通道配置？另外你说的 HDD，是真指机械硬盘吗？
- u/csixtay：170 t/s 的预填充速度意味着基本不可用。
- u/Ok_Cow1976：为什么用 HDD？不太理解。
- u/lxe（dsx 作者）：我在做最初的模型时，发现 2-bit 级别的动态量化带来的一个意外情况是：单纯因为量化，模型对自身答案的不确定性会变高，困难任务下的思维链（CoT）长度几乎翻倍。我已经排除了 API 调用和 prompt 模板的问题。在你这个 bpw 下，你遇到这种情况了吗？
- u/jasonrodd3：最有意思的是对比表：你的 2.61 bpw 构建在 KL 上优于 Lucebox 的 2.5 bpw（0.197 vs 0.253），Top-1 还高了 4 个点，说明动态量化确实把比特用在了模型真正需要的地方。双 3090 上 262K 上下文跑出 26 t/s，意味着 agentic 编码确实可用。从机械硬盘加载要 90–110 分钟，这是真正的入场代价——如果经常重启，最好把权重放到至少 SATA SSD 上。
- u/jslominski：和 Q4 量化下的 Qwen 27b 3.8 相比，跑分怎么样？
- u/FearlessLeader17：想请教一下。我正在配置 SillyTavern，让它同时做 LLM + 图片生成，以便生成带插图的角色扮演（RP）故事。图片生成是本地 3090 跑，LLM 打算用便宜的云服务（在考虑 DeepSeek V4.1 Flash，听说又便宜又好）。请问 DeepSeek V4.1 能处理比较长的故事并保持记忆吗？
- u/cosmicnag：多 GPU 支持情况如何？