新AI模型本地跑长文档更省内存，但推理可能打折

英伟达旗下Nemotron-3系列AI模型采用混合架构——部分层用Mamba（状态空间模型），部分层用Transformer注意力。Mamba层的计算复杂度是O(n)，标准Transformer注意力是O(n²)，意味着处理超长文档时Mamba层的内存消耗增长更慢。

这么设计的好处很直接：在本地设备上跑长上下文任务（比如分析32K tokens以上的报告或代码库）时，内存占用更可控，不会像纯Transformer那样快速飙升。但代价是Mamba的递归状态可能丢失部分全局关联信息，在需要精细推理的短文本场景中，表现可能不如纯注意力模型。

Nemotron-3有三个规模：Nano（30B总参数/3.6B激活参数）、Super（120B总参数/12B激活参数）以及另一个未披露的层级。目前主要在测试Nano和Super两档。

Nano模型在H100上采用FP8精度时，吞吐量达到1323 tokens/s，是BF16版本（598 tokens/s）的2.2倍，平均得分仅从72.1降至70.2，下降1.9分。内存占用从58.9 GiB降到31.4 GiB，差不多减半——用更便宜的硬件也能跑，或者在同一设备上同时塞进多个模型。

测试跑在一台DGX Spark上（GB10 Grace-Blackwell，121 GB统一内存）。英伟达用的评估基准是内部开发的smf-bench（239道测试，15个类别，5个难度等级）。第一阶段部署Nemotron-3-Nano-30B-A3B-FP8，与Qwen3.6-35B-A3B-NVFP4和Gemma-4-26B-A4B-NVFP4对比。

第二阶段试图部署更大的Nemotron-3-Super-120B-A12B-NVFP4。它的量化策略很细：MoE路由专家采用W4A4（group_size 16），共享专家为FP8，注意力线性层保留BF16，SSM缓存用FP32。估计内存占用在60-70 GiB之间，在121 GB统一内存上“可能可行但紧张”。能否最终采用取决于三个条件：能否在Spark上稳定部署、smf-bench平均分是否超过当前最佳模型5%以上、吞吐量是否高于400 tok/s。

Mamba混合架构在哪些具体任务类别上优于纯Transformer MoE，目前还不清楚。量化（FP8/NVFP4）对Mamba层的影响是否与对Transformer层一致，也没有定论。同样不清楚的还有Mamba层在生成幻觉或拒绝回答上的失败模式是否不同。

所有测试结果将公开发布，smf-bench本身是MIT开源项目。如果Super模型成功部署，用户在一台桌面设备上就能获得120B总参但仅激活12B参数的推理能力，复杂任务（如编程、数学推理）在本地运行的可行性会大幅提升。但若内存不够或得分不够高，Nano版本仍是主力。