74B参数塞进24GB显存，NVIDIA 10月15日发布新MoE模型

一个能装进24GB显存的74B模型

NVIDIA 将在10月15日发布 Nemotron Bolt 3.5 74B A9B。这是一个混合专家（MoE）模型，总参数74B，每次推理只激活9B参数。通过2-bit量化，整个模型被压缩进24GB显存。量化感知训练（QAT）在训练阶段就模拟低精度带来的损失。模型缩小之后还能保持质量。

MoE 可以这样理解：模型内部有多个专门化的子网络，处理任务时只调用其中一小部分。74B的参数量不等于74B的计算量。2-bit量化把权重压到极低精度，体积因此大幅缩小。

社区的期待与怀疑

评论区对这套做法反应不一。有人对2-bit量化感兴趣，认为NVIDIA这次认真对待了低比特量化。也有声音提醒：NVIDIA至今没有发布过一款真正有用的模型。还有乐观的估计：如果2-bit量化站得住，跑本地模型的人会捡到甜点——专家容量足以跟更大的模型竞争，一张消费级GPU或RTX Spark类设备就装得下。

NVIDIA声称它在速度与智能之间取平衡。比多数流行密集模型更快，又比类似内存占用的MoE模型更聪明。目前还没有公开基准测试来验证这一点。

硬件门槛与更多版本

硬件门槛仍是本地AI的瓶颈。24GB显存不是小数字，基本锁定在高端消费级显卡。有人看着自己12GB显存加32GB内存的电脑，不确定能否运行，只能等发布后实测。NVIDIA会不会发布常规量化版本（比如Q4、Q8），还是只有Q2，也还没说明。

llama.cpp 已经合并了对这个模型的支持。发布当天，熟悉开源AI工具链的人就能直接用，不用等专门适配。

更小的版本与更大的格局

除了74B版本，NVIDIA还有两个动作。更小的 Nemotron 3.5 Bolt E4B 4GB 将在10月23日发布，面向更低配置的设备。另一个120B参数的A12B版本也在路上。有评论认为120B不如80B合理。80B几乎完美适配64GB内存设置，而64GB相对常见。社区等了很久才等到80B级别的MoE模型。

对这个模型的实际质量，社区态度谨慎。有人给出的参照是：能达到 Qwen 3.8 27B 质量的四分之三，就愿意尝试。但期望不高。也有人在更大的格局里看这次发布。NVIDIA采用低比特量化，可能带动 Qwen、DeepSeek 或 Google 跟进。开放模型领域本身在变化。有评论指出，美国实验室正在收紧模型开放程度，连Meta和Grok这样的第二梯队也不例外。中国开放模型因为算力只有美国的大约1%，正在逐渐落后。

模型出现在llama.cpp的支持列表里，NVIDIA走的是开放路线。质量若站得住，会给依赖开放模型的开发者多一个选择。能不能持续更新、实际性能能否兑现承诺，要等10月15日之后由社区检验。