Open Athena 公开 Marin 535B-A23B 架构思路

分享一下 Marin 535B-A23B 架构背后的思考过程，该模型已于上周完成了 18T tokens 的预训练：今年早些时候，Marin 项目在 Open Athena 只有 6 名全职员工，既有 AI 领域的资深人士，也有像我这样的新人。作为一名 IC，我从团队中学到了很多东西。

从那时起，我们在一个月内让 B200 GPU 集群跑了起来，GPU 规模扩大了 300 倍，训练出了一个 5350 亿参数的模型，公开预测了这次训练，全程直播了整个过程，并且完成了预训练，效果略好于预期，且没有出现任何不稳定情况。

在博客中，我特别提到了架构方面的具体贡献，但更要感谢的是整个生态系统。两年前，在第一次大规模尝试时，这是不可想象的。现在这成为了可能，很大程度上要归功于 Llama、DeepSeek、Qwen、Gemma、Olmo、Cohere、Nemotron、Arcee、Inkling、Mistral、Microsoft AI、Kimi、Muse、学术界以及其他许多机构发布的研究成果。

方法已经公开。一个拥有远大梦想（和一些资金）的小团队可以训练出一个大模型。（如果你对此有疑问，可以复制我们从数据到代码的完全公开的方法）。

当然，训练一个模型并不会产生一个非黑即白的结果。我为我们所取得的成就感到自豪，并对未来的探索充满期待！团队最近有所壮大，很快将对模型进行 SFT 和 RL，并在此过程中分享研究结果。