华为盘古大模型团队开源openPangu-2.0 预训练、SFT、后训练RL代码(505B)

中国第一大模型华为盘古又开源了🫡

刚刚，华为盘古大模型团队开源了 openPangu-2.0 的预训练代码、SFT 代码和后训练 RL 代码。

现在大部分所谓开源大模型，基本还是权重 + 推理代码。

你可以部署、可以魔改，但模型怎么被训出来的 Pretrain、SFT、RL recipe国产，往往还是黑盒的。

此前华为已经陆续开了模型结构、Flash/Pro 权重、推理代码和训推算子； 其中 Pro 是 505B 总参数、18B 激活，512K Context，预训练用了约 34T Tokens。

现在预训练 + SFT + RL 代码再补上，基本已经开始覆盖一套大模型从训练到后训练的完整链路。

而且这件事放在华为昇腾生态里看会更有意思。

华为这两年其实一直在干一件事：不只是卖卡，而是把 CANN、PyTorch 适配、模型、训推算子、训练系统这一整套东西逐渐打开。

华为自己披露，目前基于昇腾+CANN 的原生训练模型已经超过 40 个。

所以我觉得 openPangu 真正想做的，可能也不是再造一个国产模型排行榜选手。

它在回答一个很重要问题： 如果未来有人真的想在昇腾上，从头训一个自己的大模型，到底有没有一套可以直接抄作业的开源参考？

现在华为自己给出了参考答案。 也算是遥遥领先了。。。