按显存大小分享本地部署大模型路径

老哥，我分享一下我入坑本地AI的入坑顺序：

显存12GB：用压缩后的27B模型学习技术栈，了解模型如何部署运行，像Hermes agent的/goal这类功能让代理通宵运行是什么效果。你会得到不错的结果，首次运行就能达到50 token/秒的速度，能看到入门的方向。

显存24GB：到这里你就能摸到主力级模型了，就是独一无二的稠密27B Q4量化模型。想要动手实践张量并行就配两块RTX 3060，想要正确高效地扩展规模就用一张24GB显存的卡。
在24GB显存的配置上，我日常30%的工作都能做原型开发，拥有自主算力的体验从这里开始。

现在先别碰Mac、RTX 5090和RTX 6000 Pro，先从小规模开始学习技术栈，搞懂其中的区别。这不是一天就能做成的事，它是一个过程，也是一种生活方式。不要一开始就想做所有事，失望之后就再也意识不到这件事的意义：你可以自己运行推理，模型完全运行在你自己的硬件上。

DGX Spark：上手很简单，如果你不想学PCIe通道、供电分配和 bifurcation，走DGX Spark路线就是一个开箱即用的干净CUDA主机，插电就能用。
你可以堆叠更多配置，用ConnectX线就能很好地运行。我有两台DGX Spark，所以我可以肯定地说，用DGX Spark扩展规模是最简洁的方案。当然，稠密模型没法得到超高带宽，但像Qwen 3.8 Flash Next、Ling Flash和StepFun 3.7这类混合专家模型，在单台DGX Spark上就能跑得飞快。

但如果你想学习真正的基础设施，从线缆整理到x8和x16 PCIe通道、bifurcation、SlimSAS线缆、背板、风道和供电分配，这些都是DGX Spark帮你省略掉的内容，省略的代价就是带宽。如果你敢碰硬核配置，最终路线就是RTX 6000 Pro，这套配置不管是稠密模型还是混合专家模型都能跑得动，我也正打算走这条路线。
开心就完事儿了，朋友。