单张RTX 3090跑Inkling 2 Mini:129.5 tok/s,比llama.cpp快2.3倍
我为 Inkling 2 Mini 打造了一套定制推理引擎,在单张 RTX 3090 上实现了 129.5 tok/s 的吞吐,上下文长度达 344K。相比 llama.cpp,解码速度提升 2.3 倍,预填充速度提升 3.7 倍,且质量零损失。
在 48 层循环遍历和原生 NVFP4 权重的条件下,llama.cpp 的速度仅为 57 tok/s,且每个 token 需触发约 7350 次内核启动。超过一半的解码时间被耗时 1 到 2 微秒的微小粘合操作占用。
因此,我在 @PeasantSmith 的 Project Maya 上构建了 maya-ik2,将全部 3072 个专家常驻显存,通过 1 个 CUDA 图将 7350 次启动减少到 781 次。随后,我为 FP8 KV 注意力机制(776 GB/s)和 NVFP4 专家编写了定制 Tensor Core 内核。
RTX 3090 完全没有 FP4 硬件支持,因此专家内核在寄存器中实时将 4 位权重解包为 FP16,并以 745 GB/s 的速度为 FP16 Tensor Core 提供数据。将 BF16 视觉计算移至 CPU(新图像 4.5 秒,缓存图像 0.5 秒)释放了 1.3 GB 显存以支持 344K 上下文,同时我还实现了可用的思考模式开关。
单张 RTX 3090(300W,Unsloth UD-Q4_K_XL,FP8 KV)性能表现:
短文本:128.7 tok/s 解码(HTTP 接口 129.5),llama.cpp 为 57.0
4K 上下文:124.2 tok/s 解码,2742 预填充(llama.cpp 为 1052)
64K 上下文:105.6 tok/s 解码,2361 预填充(llama.cpp 为 42.7 / 630)
128K 上下文:90.6 tok/s 解码,2079 预填充
340K 上下文:62.3 tok/s 解码,1473 预填充(峰值显存 23.57 GiB)
质量也未受损:GSM8K 测试得分 74/96,标量路径为 73/96(KL 散度 5.7e-5)。目前正在整理提交记录以发布到 GitHub,且该量化版本仍有提升至约 135 tok/s 的空间。
我刚刚开源了我的《推理优化手册》。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖