微软把 2.8T 参数大模型的训练细节全摊开了

微软这篇讲 3T 级模型预训练的技术博客，真的值得认真看，很少有人愿意把这么大的模型到底怎么训，讲得这么细、这么清楚。链接我放在后面 这次的模型叫 MAI-Base-2，由微软 MAI 团队自主训练，总参数 2.8T，每个 token 激活 80B。目前完成了预训练，后训练还在进行 几个我觉得值得分享的点 > 参数很多，每次只用一小部分。

总共 2.8 万亿参数，处理每个 token 时激活约 800 亿。这就是 MoE，按需要调用不同的“专家”，控制计算量。> 先用小模型探路，再放大。

他们先训练一系列小模型，推算大模型的结果。连数据重复学几遍，都要和正式训练对齐。最后实际的训练误差和提前预测的非常接近，这个我觉得很厉害。

> 怎么��参，也摸出了规律。比如学习率，可以理解成模型每次更新参数时迈多大一步。他们根据训练量、训练步数去推算，再到更大的模型上验证，减少正式训练时的试错 > 模型越大，训练稳定性越重要。

这次用了 Muon 优化器，还加了激活梯度裁剪，减少异常更新的干扰。后面这项改动很有意思，模型越大，带来的效率收益反而越明显。> 从预训练就开始学图像。

总训练量是 50T token，其中约 9T 来自多模态数据，是原生多模态模型。原链接：