AI Pulse

以前下载模型只给权重,IFM的K2-Horizon连训练过程一起开源

IFM 在 11 月 15 日至 17 日发布 K2-Horizon,一共六个开源模型。最小的是 0.9B 稠密模型,最大的是 375B-A23B 的 MoE 旗舰。

跟着权重一起放出来的,还有预训练语料、阶段检查点、训练日志。评估代码、xLLM 训练栈和 RL360 后训练代码也在里面。项目页把这套做法叫作“玻璃盒,而非黑盒”。

过去下载一个开源模型,拿到的是权重,训练过程留在实验室内部。这一次,原料和过程都摆到了台面上。对做复现研究的团队来说,这是实打实的资源。

数据和论文里有什么

六个模型里有四个共用一份 22 万亿 token 的语料,IFM 还记录了约 10 万亿合成预训练 token 的处理流程。数据怎么清洗、怎么配比、哪个阶段喂什么,都能顺着文档往回查。

论文发在 arXiv(2611.21003)。里面提出 MoVA,即 Mixture-of-Value Attention,把 MoE 那套路由机制搬到注意力的值投影上。IFM 说,36B-A4B 的 MoVA 用同样的数据训练,几乎追平 32B 稠密模型。激活参数只有后者的约七分之一。如果这个对比站得住,同样的算力能跑的请求数就有数倍空间。

另一个技术点叫 Uno,一个无损扩散适配器,用来加速解码。IFM 报的数字是最高 2.2 倍,而且不需要额外配一个草稿模型。解码速度直接对应响应时间——前提是这个倍数经得住别人复跑。

375B 旗舰在 Toolathlon 工具使用基准上排第一,这个名次是供应商自己报的。基准上的位置要等独立测试跑过一遍才算数。

375B 不是笔记本下载

375B 的 MoE 对大多数人来说是基础设施新闻,塞不进笔记本。它要的是集群,消费级显卡不够用。这次开放带来的实际好处,是外界第一次能翻到一份完整文档,跑起来反倒是少数人的事。

真要动手的人走 ifm.ai/k2,权重和代码都列在那儿,提供 vLLM、SGLang 和 Ollama 三条路径。小模型能在本地试,大模型得先有机器。

还有一层不那么显眼的限制:IFM 总部在阿布扎比。团队在镜像几 TB 数据之前,得先确认数据驻留和出口规则。语料和检查点一旦落盘,跨境传输就带上了合规问题,没有几家实验室愿意先处理这个。

开放的边界在哪

判断这次发布的分量,先看一件事:这些模型在真实场景里能不能和专有模型掰手腕。目前没有独立结果,这层判断还做不了。

数据和代码全给出来,确实把“开放”的门槛往前推了一截。但吃下这套东西需要的存储、算力和能读懂训练日志的人,多数团队凑不齐。剩下的人能拿到的,是一场做得相当彻底的透明展示。

关键事实

阅读原文
📚 相关主题 开源大模型

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新