Meta 开源 Muse Spark Open，100 万上下文还支持全模态输入

坐不住了！ Meta 把 Muse Spark 开源了！

Meta 刚刚开源了 Muse Spark Open 大模型！ 1M上下文， 支持全模态输入！ 模型参数量816B-A42B, 说实话这个激活数量可不小， 尤其是对比 DeepSeek-v4.1-flash (552B MoE 主干 + 196B Engram 查找表) 这种 prefill 只激活 8B 的神奇玩意。

我还把 DeepSeek 的测试得分整合进了官方表格， 目前来看， 这个模型应该是个 Agent 能力特化模型， 不是一个编程能力很强的模型。 任何一个国产旗舰应该都能超过它的编程能力。

当然激活大除了推理更吃硬件导致速度慢���外， 还是有优点的， 一般来讲大激活对多步任务(Agent Loop)的稳定性更有帮助， 更不容易出现上下文漂移和逻辑崩溃。

不过 Meta 也补救了一手， 跟这个模型一起放出了用 PyTorch Helion DSL 编写的算子 (RoPE、RMSNorm、量化等), 在 NVIDIA GB300 上比手写的 CUDA/CuTe 算子快 1.03x～3.95x, 同一套代码直接移植到 AMD MI350 上也有类似的算子级提升 (端到端吞吐 +3%).

另外 SGLang 里还有实验性的 Helion megakernel, 把注意力、MoE 等整层操作融合成单个持久化核心 (Persistent Kernel), batch=1 的 decode 大概能快 10%.

但是这个激活量立刻让我想起了之前的 Llama 4 Scout (109B-A17B), 吹能支持10M上下文， 结果实际部署巨耗费显存， 这次更是激活参数量翻了2.47倍。

好消息是这次用了混合局部注意力， 62 层里有 46 层是 2048 token 的滑动窗口， 只有 16 层全局注意力需要存完整上下文的 KV Cache.

我试算了一下， NVFP4 权重 + 官方推荐的 FP8 KV Cache, 跑满 1M 上下文时 KV Cache 大概 34.6GB (如果 62 层全是全局注意力的话要 133GB), 加上权重 537GB 就是约 572GB, 再算上激活值和运行时开销， 官方建议至少 700GB 显存， 也就是单台 4 卡 Blackwell (比如 4×B300) 起步。

呃。..总之跟我无缘了。.. 速报测试一会给大家放出， 看看效果咋样。

我看到 openrouter 上定价是 输入 $1.25/M tokens 输出 $4.25/M tokens, 也不便宜。

> #MuseSparkOpen #Meta #MuseSpark #llama