AI Pulse

Inkling 2 Mini 单卡4090跑到190–220 tokens/s,只有35k上下文

Thinking Machines 发布的 Inkling 2 Mini 能在单张 RTX 4090 上跑到约 190–220 tokens/s。开箱默认大约 117 tokens/s,提升来自两件事:给 vLLM 打补丁,以及换一套混合量化配置。

最终配置先列出来,后面逐项解释。

- experts 层:NVFP4,W4A16
- attention / head / embeddings:FP8,W8A16
- KV cache:FP8
- 启用模型内置 drafter(投机解码用的草稿模型)
- 24 GB 显存,35k 上下文
- 样本 prompt 上困惑度(perplexity)约 0.4% 损失

第一步:为 RTX 4090 打 sm89 补丁

RTX 4090 属于 sm89(Ada Lovelace)架构。原文明确说,当前 vLLM 对这个模型还不支持 4090,需要几个小补丁才能跑起来。这一步是前置条件,不是性能优化——没有补丁,后面的量化配置都无从谈起。原文没有给出补丁细节;评论区也有人在索要 sm89 patches,说明这是复现时最容易卡住的地方。

第二步:确定混合量化方案

全用 NVFP4 或全用 FP8 都不是最优,作者按各层的精度敏感度做了拆分:

- 专家层(experts)是 MoE(混合专家)模型里参数量的主体,用 NVFP4(4-bit 浮点)配 W4A16(权重 4-bit、激活 16-bit),显存压得最狠。
- attention、输出 head、embedding 对精度更敏感,保留 FP8(8-bit 浮点)配 W8A16(权重 8-bit、激活 16-bit),避免质量明显下滑。
- KV cache 也用 FP8。长上下文时 KV 才是显存大头,这一项直接决定上下文能开多长。

第三步:按 24 GB 显存规划上下文

这套配置能塞进 24 GB 显存,同时开 35k 上下文。这是硬约束:想要更长上下文,就得在量化精度或其他地方让出空间。评论区对这个数字争议不小——对一个 26B 的 MoE 模型来说,35k 上下文就占这么多显存被认为不太合理,也有人指出 35k 不足以跑 Hermes 这类长上下文用途。如果你的场景依赖长文档,先确认 35k 够不够,再决定是否值得复现。

第四步:用困惑度验证质量

作者在若干样本 prompt 上测了困惑度,相对基线约 0.4% 的损失。量化方案能不能落地,最终看这个指标:0.4% 属于可接受的范围。建议不要直接沿用别人的样本,用自己的业务 prompt 重测一遍。

第五步:把投机解码接受率和吞吐一起测

内置 drafter 带来的加速取决于接受率(acceptance rate),也就是草稿模型猜出的 token 有多少被主模型接受。只看 tok/s 容易误判,最好把接受率和吞吐一起记录。

评论区给了一个不用单独跑基准的办法:从 vLLM 的计数器里取两个指标,相除即可。

- spec_decode_num_accepted_tokens_total
- spec_decode_num_draft_tokens_total

接受率 = 前者 / 后者。另外,这部分收益体现在生成阶段(generation),不在 prefill 阶段,测量时要看生成段的吞吐。

附:和 llama.cpp 路径的对比

有人在 Unsloth 提供的预编译 llama.cpp 上跑同一个模型,只有 40–60 tokens/s。同样是 4090,推理引擎和量化路径的差异可以拉到几倍。如果目标是单卡高吞吐,vLLM 这条路线值得按上面的顺序走一遍。

阅读原文
📚 相关主题 开源工程

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新