AI Pulse

816B模型首次桌面可跑,需两台顶配Mac Studio

Meta 发布了 Muse Spark Open,一个 816B 参数的开源权重模型。官方称,这是同类里第一款能跑在桌面上的。以前这种规模的模型基本只能在云端跑。现在能放到自己手边的机器上,数据不用上传到别人的服务器。

硬件门槛不低。模型要两台 Apple M5 Ultra Mac Studio,用 Apple 的 MLX 框架跑。压缩成 4-bit 后大约 493GB,一台 512GB 的 Mac Studio 装不下——这就是为什么要两台。

两台机器之间用 Thunderbolt 5 电缆连接,走 RDMA(远程直接内存访问)。Apple 的技术文档说,这种方式传数据延迟低。Apple 基准测试里,两台机器用张量并行跑 4-bit 模型,每秒生成 24.99 个 token——约合每分钟 1500 个。四台机器一起上,每秒 36.73 个。写长文、日常对话没问题,真要逐字实时回应,能感觉到停顿。

购置成本摆在眼前:两台顶配 Mac Studio,不是随便能掏出来的钱。Meta 没说会不会出更小版本,也没提许可证怎么算。能不能商用、支不支持 NVIDIA GPU、能不能云上跑,同样没有消息。跑得动是一回事,用得起是另一回事。

关键事实

阅读原文
📚 相关主题 硬件

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新