两张 RTX 3090 跑 26B 模型:457K 上下文,解码 196 tok/s
这篇文章记录在一台双 RTX 3090 机器上运行 Inkling 2 Mini(26.4B MoE,3.4B 激活参数)的完整过程:不依赖 llama.cpp,用 NInfer-all 先跑到 557K 上下文和视觉输入,再用 vLLM 补丁把解码吞吐推到约 196 tok/s。
硬件与软件基线
- 2× RTX 3090(无 NVLink,也没有 P2P(peer-to-peer,GPU 直连))
- 128 GB RAM
- NVIDIA 驱动 615.71 / CUDA 13.4
- NInfer-all 2026-11-21.3
- 功耗限制:负责 KV cache 的卡 320 W,另一张 200 W
- 把 GGUF 转成 .ninfer 在 CPU 上约 10 秒。WaveCut 也在 Hugging Face 发布可直接使用的 .ninfer 文件。
1. 上下文容量:KV cache 放在哪张卡
这个模型族的 KV cache(键值缓存)只支持 BF16(不支持 INT8/FP8),每 token 约 36 KiB。所有 KV cache 都放在第一个 --devices 指定的 GPU(配置里的 1 号卡)上,只有路由专家(routed experts)分散到两张卡。因此策略很直接:把 GPU 1 留给 KV cache,把尽可能多的专家推到 GPU 2。
2. 视觉 + DSpark(投机解码用 draft 模型)下的最大上下文
- 单张 RTX 3090:174,080 tokens
- 两张卡,默认切分:360,448 tokens
- 两张卡,--tensor-split 1,15:524,288 tokens
- 两张卡,--tensor-split 1,127 + overlay + 1024 prefill:557,056 tokens
1,127 切分意味着每层 128 个专家中有 1 个留在 KV GPU 上。overlay 会把视觉塔保持在锁页内存(pinned RAM)中,处理图像时临时借用 VRAM,视觉仍然可用。
561,152 也能装下,但服务器会把 prefill chunk 降到 512,预填充大约慢 11%。作者选择牺牲 4K 上下文换性能。模型原生上下文窗口是 1M tokens,瓶颈在 VRAM。
3. 性能:解码与预填充
解码速度
- 单 GPU(174K 上下文):
- 开启 DSpark:127 tok/s
- 不用 drafter:105 tok/s
- 代码生成最高 144 tok/s
- 双 GPU(557K 上下文):
- 开启 DSpark:98–104 tok/s
预填充速度
- 单 GPU:
- 4K:2,371 tok/s
- 32K:1,307 tok/s
- 63K:873 tok/s
- 162K:367 tok/s
- 双 GPU:
- 32K:约 1,140 tok/s
- 63K:约 700 tok/s
双卡更慢,因为每个 MoE 块都要经过主机 RAM 跨 PCIe,机器没有 P2P 通信。
试过但没帮助的选项
- 单 GPU 上增大 prefill chunk
- --prefill-cublas
- 增加 DSpark draft 数(5 个自适应:93.6 tok/s;4 个固定:67.7 tok/s)
- --lookup-ngram
- min-p 参数调整
- --tensor-parallel-prompt-partials 和 --tensor-attention 当前只针对 Qwen
默认配置已经是最快的。
4. 前缀缓存:真正的突破
这部分可能是最有价值的结果。把一个 63K token 的文档加载进对话,首次处理到首 token(TTFT)约 90 秒。接着打开三个互不相关的对话。最后用同一份文档开一个全新对话。
结果:TTFT 0.85 秒。服务器从 prefix cache 复用了 62,996 个 token 中的 62,973 个。配置项:
--host-cache-mib 32768
对长上下文负载来说,这个差异非常实际。
正确性测试:大海捞针(NIAH)在 5K、63K、162K 都正确;63K token 以上的多轮对话也正确。
5. 运行命令
作者当时可用的配置:
ninfer-serve Inkling-2-Mini-UD-IQ4_XS-ninfer-v3.ninfer --model-id inkling-2-mini --vision --vision-residency overlay --devices 1,0 --tensor-parallel --tensor-split 1,127 --max-context 557056 --prefill-chunk 1024 --host-cache-mib 32768
6. 限制与未测试项
这是单机测试,运行时间也相对短。以下仍未测试:
- 接近 557K 上下文上限的大海捞针检索
- 双卡预填充超过 63K
- 上下文几乎占满时的图像处理
- 工具调用
如果有人能在 sm_86 上把 Humming NVFP4 跑起来,作者很想知道方法。
更新(11 月 22 日):vLLM 在 Ampere 上可用,成为更优方案
vLLM 现在能在 Ampere 架构上跑,并且成为这里的最佳选择:457K 上下文,带 drafter 约 196 tok/s。
依据是评论区提供的链接和 PR(Pull Request)贡献者:
- vllm-project/vllm#69165(Ar4ikov):为 Inkling 2 增加 Ampere/Ada 支持(开放中的 PR)
- peaster/inkling-2-mini-vllm-2x3090:sm_86 调优补丁(部分来自 snailbrainx/inkling-2-mini-sm80)
- quidow 的 gist:一组服务参数,可在开启 drafter 时装下 457K 上下文
测试结果
同一台机器:2× 3090(无 NVLink),功耗上限 320 W / 200 W,BF16 KV,开启视觉,一次只处理一个请求。解码速度取 8 个提示词(代码、散文、故事、JSON)在温度 0 和 1 下的平均值。
| 方案 | 上下文 | 解码 | 32K 预填充 |
|---|---|---|---|
| NInfer(原帖方案) | 557K | 约 105 tok/s | 28.6 s |
| vLLM PR,无 P2P | 287K | 123 tok/s | 7.2 s |
| vLLM PR + P2P | 287K | 139 tok/s | 6.7 s |
| vLLM PR + P2P + 调优 | 287K | 182 tok/s | 6.3 s |
| + quidow 参数 | 457K | 196 tok/s | 6.9 s |
vLLM 各行使用官方 NVFP4/MXFP8 checkpoint,全部开启 DSpark drafter。“无 P2P”这一行是前一天测的,提示词集合略有不同。
最佳配置下,解码从 142 tok/s(散文)到 271 tok/s(代码)。396K token 处的大海捞针能正确找到,回答耗时 202 秒(整个提示词平均预填充约 2,000 tok/s)。图像输入可用。
差异来自哪里
1. 两张卡之间的 P2P:+13%。只有当 GPU 能直接互访时,vLLM 才会用快速 all-reduce,而这个模型每 token 要做 96 次 all-reduce。3090 需要打补丁的驱动(aikitoria/open-gpu-kernel-modules)。作者的 P2P 在一次内核更新后无声失效,所以如果你用那个驱动,每次内核更新后都检查 nvidia-smi topo -p2p r。它应该显示 OK,而不是 GNS(P2P 不可用状态)。
2. peaster 的调优补丁:解码 +31%。它加入小矩阵乘 kernel、sm_86 专家 GEMM(通用矩阵乘)配置,并根据近期接受率在每一步选择 draft 长度。散文提升最大:97 到 138 tok/s。
3. quidow 的参数:上下文 +60%,而且解码升了而不是降了。--max-num-batched-tokens 1024 --no-async-scheduling 会缩小滑动窗口缓存,这些缓存必须保存每个在途 token。省下的内存转给完整注意力 KV。VLLM_ALLREDUCE_USE_FLASHINFER_PCIE_IPC=1 打开 FlashInfer 针对 PCIe 的 all-reduce。代价是 32K 预填充从 6.3 秒变成 6.9 秒。
4. P2P 对 NInfer 没作用(两种情况都约 100 tok/s)。它的双卡成本看起来是同步延迟,而不是带宽。
现在的取舍
- vLLM:在 457K 上下文下,解码约为 NInfer 的 1.9 倍,预填充约为 4 倍。
- NInfer:仍多出 100K 上下文(557K),使用 4-bit GGUF。
如何复现 vLLM 配置
第一步:构建 PR 镜像
用这个 PR 构建镜像。vLLM 主分支 1bdc43740 已经包含 Inkling 模型;PR 增加 Ampere 路径。
第二步:在镜像内应用 sm_86 调优补丁
在镜像中的 site-packages 里用 patch -p1 应用 peaster 的 patches/sm86-tune.diff。其中 3 个补丁块(hunk)因为基线不同,无法直接应用到 PR 代码。这三个都可以手工改:
- ops/attention_sm90.py:在 import 后加入 from vllm.platforms import current_platform、from .gemv import tune,以及 _FAR_BLOCKS / _AMPERE_TILES 相关行
- ops/linear.py:在 from .gemv import ... 这一行里加上 tune
- v1/core/sched/scheduler.py:在 __init__ 中 self.dynamic_sd_lookup ... = None 这一行后面加入 self.adaptive_draft_length = maybe_adaptive_draft_length(speculative_config, self.num_spec_tokens)
第三步:启动服务
启动时使用 Docker 参数 --ipc=host,并设置环境变量 NCCL_CUMEM_ENABLE=0、PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:512、VLLM_ALLREDUCE_USE_FLASHINFER_PCIE_IPC=1。
已验证:所有配置都能按表中上下文大小启动。396K 处的 needle 正确,图像输入可用,基础数学题结果正确。尚未验证:GSM8K、工具调用,以及同时处理多个请求。