以前下载模型只给权重,IFM的K2-Horizon连训练过程一起开源
IFM 在 11 月 15 日至 17 日发布 K2-Horizon,一共六个开源模型。最小的是 0.9B 稠密模型,最大的是 375B-A23B 的 MoE 旗舰。
跟着权重一起放出来的,还有预训练语料、阶段检查点、训练日志。评估代码、xLLM 训练栈和 RL360 后训练代码也在里面。项目页把这套做法叫作“玻璃盒,而非黑盒”。
过去下载一个开源模型,拿到的是权重,训练过程留在实验室内部。这一次,原料和过程都摆到了台面上。对做复现研究的团队来说,这是实打实的资源。
数据和论文里有什么
六个模型里有四个共用一份 22 万亿 token 的语料,IFM 还记录了约 10 万亿合成预训练 token 的处理流程。数据怎么清洗、怎么配比、哪个阶段喂什么,都能顺着文档往回查。
论文发在 arXiv(2611.21003)。里面提出 MoVA,即 Mixture-of-Value Attention,把 MoE 那套路由机制搬到注意力的值投影上。IFM 说,36B-A4B 的 MoVA 用同样的数据训练,几乎追平 32B 稠密模型。激活参数只有后者的约七分之一。如果这个对比站得住,同样的算力能跑的请求数就有数倍空间。
另一个技术点叫 Uno,一个无损扩散适配器,用来加速解码。IFM 报的数字是最高 2.2 倍,而且不需要额外配一个草稿模型。解码速度直接对应响应时间——前提是这个倍数经得住别人复跑。
375B 旗舰在 Toolathlon 工具使用基准上排第一,这个名次是供应商自己报的。基准上的位置要等独立测试跑过一遍才算数。
375B 不是笔记本下载
375B 的 MoE 对大多数人来说是基础设施新闻,塞不进笔记本。它要的是集群,消费级显卡不够用。这次开放带来的实际好处,是外界第一次能翻到一份完整文档,跑起来反倒是少数人的事。
真要动手的人走 ifm.ai/k2,权重和代码都列在那儿,提供 vLLM、SGLang 和 Ollama 三条路径。小模型能在本地试,大模型得先有机器。
还有一层不那么显眼的限制:IFM 总部在阿布扎比。团队在镜像几 TB 数据之前,得先确认数据驻留和出口规则。语料和检查点一旦落盘,跨境传输就带上了合规问题,没有几家实验室愿意先处理这个。
开放的边界在哪
判断这次发布的分量,先看一件事:这些模型在真实场景里能不能和专有模型掰手腕。目前没有独立结果,这层判断还做不了。
数据和代码全给出来,确实把“开放”的门槛往前推了一截。但吃下这套东西需要的存储、算力和能读懂训练日志的人,多数团队凑不齐。剩下的人能拿到的,是一场做得相当彻底的透明展示。
关键事实
- 除了权重,IFM还发布了预训练语料、阶段检查点、训练日志、评估代码、xLLM训练栈和RL360后训练代码。
- 项目页面将这种开放性称为'玻璃盒,而非黑盒'。
- 其中四个模型共享一个22万亿token的语料库,IFM记录了约10万亿合成预训练token的流程。
- 论文(arXiv 2611.21003)介绍了MoVA(Mixture-of-Value Attention),将MoE风格路由应用于注意力值投影。
- 375B MoE模型对大多数人来说是基础设施新闻,不是笔记本电脑下载。
- 基准声明需要独立的测试运行验证。
- IFM总部位于阿布扎比,因此一些团队在镜像数TB数据前需要检查数据驻留和出口规则。
- 权重和代码通过ifm.ai/k2列出,支持vLLM、SGLang和Ollama路径。