5940亿参数大模型，从训练到落地全程只用4位精度

过去训练大模型，行业默认用16位甚至32位的高精度格式存储数据，生怕精度不够拖垮模型效果。现在这个惯例被打破了。

Thinking Machines Lab 发布的 Inkling 2 Small，是首个从预训练第一步到最终强化学习（RL）收尾全程使用原生4位浮点格式（NVFP4）训练的大模型。它采用稀疏混合专家（MoE）架构，总参数量5940亿，分布在384个专家中，每个token只激活8个专家，实际活跃参数量为170亿。

@miramurati 透露，整个训练过程都在 NVIDIA GB300 NVL72 机架上完成。@cHHillee 提到，团队成员 Jack Cook 最初在学术界研究 NVFP4 预训练时，也怀疑这套方法能不能撑住大规模实际运行。

@soumithchintala 专门推荐了这篇技术博客，认为值得一读。@thinkymachines 解释，用更少比特训练速度更快，但量化误差可能干扰学习，这次他们把4位精度的应用从推理端直接延伸到了预训练全流程。

NVFP4 是 NVIDIA 推出的4位浮点格式，结合了微块缩放、E4M3缩放因子、Hadamard变换、选择性2D块量化等技术。在 GB300 硬件上，NVFP4 格式的矩阵吞吐量是16位格式的6倍。

从实际训练数据看，Inkling 2 Small 的初始预训练阶段覆盖8.4万亿 token，混合了自然语言、代码和图像内容，仅耗时68小时。而且 NVFP4 精度预训练的模型，在训练损失和下游任务准确率上可以和 FP8 基准模型相媲美。

更直接的影响在部署端：NVFP4 量化后的 Inkling 2 Small 显存占用约600GB，能在单台高显存GPU服务器上运行，还保留了100万 token 的上下文窗口，支持文本、图像、音频输入。

这意味着以前需要多台服务器集群才能跑起来的大模型，现在普通高显存工作站就能承载。AI 模型的本地化部署门槛，正在被精度优化快速拉低。

当训练和推理都能在4位精度下保持效果，大模型的成本曲线会被拉到什么位置？