IFM_AI 发布 K2 Horizon 技术报告,134 页讲透前沿大模型搭建
想找一本构建前沿大语言模型的参考手册?我们写了一本 👇
K2 Horizon 技术报告现已上线 arXiv:共 134 页,完整记录了我们如何从零打造六款模型,从架构设计到推理部署,全程无保留。这或许是当下你能读到的最详尽的大语言模型训练参考资料。
• 架构:我们推出了两项全新注意力设计——MoVA 与 softplus 注意力门控,用以强化推理能力。凭借这些设计,我们的 36B 模型在仅使用七分之一激活参数的情况下,性能几乎与 32B 稠密模型持平。
• 预训练:我们基于相同的 22T token 数据集,训练了从 3.7B 到 36B 的四款模型。它们的归一化损失曲线几乎重合为一条直线,这意味着在小模型上验证有效的训练方案,在规模化扩展时同样适用。
• 数据:用 60 多页篇幅深入探讨了多数报告刻意回避的环节。我们如何生成约 10T 合成 token,以及为何基于大规模预测分数来选择数据配比——这一做法甚至颠覆了小样本实验得出的排序结论。
• 后训练:完整记录了 375B 旗舰模型的全生产规模训练流程。
• 推理:Uno 仅通过一个小型适配器,就能让自回归模型获得扩散模型级别的推理速度。解码速度最高提升 2.2 倍,且在结构上保证无损,无需额外草稿模型。
这是开源拼图的最后一块。K2 Horizon 已开源 380 个检查点、13TB 预训练数据、58 次训练运行记录以及 17 个代码仓库。本报告将详细解读这些成果背后的决策逻辑。
更多详情:
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖