单张R9700跑起196K上下文,官方权重无需重新量化
我手头有一张 R9700(32 GB 显存,gfx1201),想在 vLLM 里用官方 NVFP4/MXFP8 checkpoint 跑 Inkling-2-Mini。上游只支持 NVIDIA 和 MI355X,所以我干脆自己移植了一份。
三个主要障碍
移植过程中主要卡在三个地方。
没有 FP4 硬件
RDNA4 架构没有 FP4 硬件支持,所以我(借助 AI)写了 kernel,在运行时精确解码 4-bit 权重。权重保持官方发布时的原样,没有做任何重新量化。这样做的好处是能直接使用官方 checkpoint,不需要自己再量化一遍,省掉了精度损失和额外的工作量。
注意力与显存
Inkling 的 attention 需要自定义 kernel,另外还要用 FP8 的 KV cache,才能在 32 GB 显存里同时装下 2 个请求、每个 196K 上下文(模型本身支持 1M)。大上下文场景下 KV cache 是显存消耗的大头,用 FP8 存 KV 是能把 196K 塞进单卡的关键。
ROCm 的坑
还有一堆 ROCm 相关的问题:kernel 启动开销、系统自带的 ROCm 会段错误(segfault),以及一个空闲的 CPU 核心一直卡在 100%。
单张 R9700 的实测结果
- decode 约 80 tok/s;开启模型内置的推测解码(speculative decoding)后达到 80–115 tok/s(作为对比,llama.cpp Q8 约 31 tok/s)
- prefill 约 4,600 tok/s
- 工具调用(tool calling)、推理(reasoning)和图像输入都能正常工作
获取镜像与复现
打过补丁的 vLLM docker 镜像可以从 repo 获取。目前只在我的卡(1 张 R9700)上测试过,所以很希望听到它在你的机器上跑得怎么样。
Repo: https://github.com/abhinand5/vllm-redshift
后续计划
Inkling 只是第一个模型。我计划在 Qwen4 等即将发布的模型上做到 day one 支持,并把 24 GB 的卡(7900 XTX)也带上,配合适合硬件的自定义量化。性能还在继续优化,欢迎提 issue 和 PR。
社区提问
[+3] u/No-Refrigerator-1672:为什么自己做 fork,而不是和 radiance 合力?radiance 已经在为 R9700 移植并优化 vLLM 了(https://codeberg.org/StillDeadcode/radiance)。