AI Pulse
📡 X 信号

月之暗面开源Kimi K3,一夜下了快2900次

Kimi K3 昨晚开源后的数据表现,说明大家对高性能开源模型已经渴求到了极点。

一夜之间接近 2900 次下载,考虑到这模型对硬件的变态要求,这下载量含金量极高。毕竟这玩意儿启动成本就是几千万的服务器集群。月之暗面这次没挤牙膏。

2.8 T MoE 架构,智能密度比以前提了 2.5 倍。这意味着它不是靠堆参数去换取的性能提升,而是架构层面的效率优化。原生视觉理解加 1 M 上下文,这配置基本上就是对着目前最强的闭源模型去的。

最值得讨论的是他们开源了 MoE 通信库。玩过大模型的都知道,MoE 架构最难搞的就是多卡之间的通信效率。Kimi 直接把这块骨头啃下来并开源,以后大家搞大参数模型,不用再从零开始去抠底层的通信框架了。

这波操作直接把开源和闭源的差距拉到了半年以内。现在的局面变得很有意思: 闭源模型靠规模效应和先发优势守城,而像 K3 这样的开源力量正在通过全栈开放来瓦解对方的护城河。这种开放不是姿态,而是实打实地把代码和工具链交出来。

对于开发者和初创团队来说,这是一个转折点。你手里终于有了一把可以平替甚至超越部分闭源 API 的重剑,虽然这把剑很重,需要昂贵的算力去舞动它,但至少它现在就在你的手里。

Serving a 2.8T model well takes a village. Grateful to @simon_mo_, @rogerw0108 and everyone at @inferact, who spent five days trading configs and optimizations with us, right up into the early hours of day zero. And to @Kimi_Moonshot for bringing us together. We're excited to contribute our work upstream to @vllm_project. Our open source vLLM recipe for K3 lands on Modal soon.

查看 X 原帖

📬 订阅 AI Pulse

每天三次更新,不错过重要信号

▲ 回到顶部