功耗拉满不一定更快:Qwen 27B提速67%,35B几乎没动
我在一张 RTX PRO 4000 Blackwell SFF 上做了一项实验:24 GB GDDR7 显存、出厂功耗 70 W、没有辅助供电接口。
借助 u/panchovix 的加载器和修补过的 NVIDIA 开源内核模块,我将修改过的 VBIOS 载入内存,把功耗上限提高到 120 W,并测试了显存与核心偏移。没有做 EEPROM 刷写或焊接。
在 158 个基准测试请求中,我测试了使用 DFlash2 的 Qwen3.8 27B 和 Qwen3.6 35B A3B。让我惊讶的是,它们对“更高功耗是否有帮助”给出了截然不同的答案。
在时钟偏移为零的情况下,27B 在整个 120 W 范围内持续获益,而 35B A3B 在 106 至 120 W 之间几乎持平。经过功耗与时钟的联合调校后,27B 观测到的最佳生成结果是 35.04 → 58.53 tok/s(+67%):功耗 120 W、显存 +20%、核心 +180 MHz。这 67% 并非单纯来自显存超频。
显存扫描更有意思。在 120 W、核心偏移为零时,将显存从 +20% 推到 +33.3%,27B 的生成速度略有下降:57.70 → 56.91 tok/s。这是个小差异,且重复次数不多,因此需要更多测试。实际的 SM 时钟也下降了。这与显存和计算共享功耗预算一致,但我没有隔离出具体原因。
在 35B A3B 上,显存 +33.3% 反而比 120 W 下不开显存超频带来了 +19.8% 的生成提升。在该组扫描中,Prefill 几乎不变。
我的结论:最快的配置未必是面板里数字最大的那个,而是能缩短你实际工作负载的那个。Prefill 与 decode 之间的取舍很重要,尤其是在提示词较长时。
在没有辅助供电的情况下跑到 120 W 并非免费午餐。这超过了 PCIe 插槽标准的 75 W 供电预算,而且 GPU 温度传感器无法告诉我插槽接触点的温度。这是一次实验,不是长期安全性声明。
补充背景:这些标题对比使用 8000 个输入 token,ECC 关闭。每个配置只有 1–3 次请求;158 是整个研究的总数。70 W 基线使用相同的修改版 VBIOS,而非出厂固件。模型还使用了不同的量化和投机解码设置,因此这不是一次受控的稠密模型对比 MoE 模型的实验。
完整报告和 CSV 数据在我的博客上。
https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark
披露:测量由我完成,原始文本以波兰语撰写。AI 协助翻译和润色英文版,包括澄清基准测试的局限性。
―― 高票评论(帖子共 9 条讨论)――
[+2] u/panchovix:做得很好的网页,感谢提到我!我的 4000 PRO SFF 做了分流电阻改装(这是几个月前的事,早于我做那个加载器),我上到过 105W,24/7 几乎顶满跑了 6-7 个月也没有出问题。解锁之后,我基本上把显存超频拉到了 +7000MHz 左右也没出问题——这块卡的显存相比普通 4000 PRO 是降频的。
120W 确实是个冒险的测试哈哈。
[+1] u/--Tintin:非常强劲的结果。
[+1] u/Dmage22:所以 120W 是通过排线供电的?
[+0] u/Wonderful_Ebb5860:这些曲线的形状太野了。27B 的 decode 在超过 +20% 之后直接罢工,而 35B A3B 反而还在往上爬。这让我怀疑 27B 是不是正好在那个速度下撞上了内存控制器瓶颈。