816B模型首次桌面可跑,需两台顶配Mac Studio
Meta 发布了 Muse Spark Open,一个 816B 参数的开源权重模型。官方称,这是同类里第一款能跑在桌面上的。以前这种规模的模型基本只能在云端跑。现在能放到自己手边的机器上,数据不用上传到别人的服务器。
硬件门槛不低。模型要两台 Apple M5 Ultra Mac Studio,用 Apple 的 MLX 框架跑。压缩成 4-bit 后大约 493GB,一台 512GB 的 Mac Studio 装不下——这就是为什么要两台。
两台机器之间用 Thunderbolt 5 电缆连接,走 RDMA(远程直接内存访问)。Apple 的技术文档说,这种方式传数据延迟低。Apple 基准测试里,两台机器用张量并行跑 4-bit 模型,每秒生成 24.99 个 token——约合每分钟 1500 个。四台机器一起上,每秒 36.73 个。写长文、日常对话没问题,真要逐字实时回应,能感觉到停顿。
购置成本摆在眼前:两台顶配 Mac Studio,不是随便能掏出来的钱。Meta 没说会不会出更小版本,也没提许可证怎么算。能不能商用、支不支持 NVIDIA GPU、能不能云上跑,同样没有消息。跑得动是一回事,用得起是另一回事。
关键事实
- Meta发布了名为Muse Spark Open的816B参数开源权重AI模型。
- 该模型是同类中首个能在桌面上运行的模型。
- 该模型可在两台Apple M5 Ultra Mac Studio上运行,使用Apple的MLX框架。
- 压缩后的4-bit版本模型占用约493GB存储空间。
- 493GB的模型无法装进单个512GB的Mac Studio。
- Apple发布的基准测试显示,在两台M5 Ultra Mac Studio上使用张量并行,4-bit模型的生成速度为每秒24.99个token。
- 在四台M5 Ultra Mac Studio上,生成速度提升到每秒36.73个token。
- Apple的技术文档描述了使用RDMA(远程直接内存访问)通过Thunderbolt 5电缆在设备间传输数据,延迟低。
📚 相关主题
硬件