AI Pulse

四家连发"开源"大模型,只有英伟达的装得进24GB显卡

周四到周六,Meta、英伟达、Reflection、DeepSeek先后放出四个大模型。把四个放在一起看,“本地运行”的意思变了:得先有一台比汽车还贵的电脑。

Meta的Muse Spark Open,总参数816B,激活参数42B,上下文窗口100万token。公告说要带智能体AI到“桌面”,但推荐的“桌面”是两台512GB内存的M5 Ultra Mac Studio。这配置10月底发货,还没定价。另一个方案是四台256GB的Mac Studio,加一起约3.8万美元。

这套组合下来,成本在数万美元级别。Meta的模型卡显示,它在Artificial Analysis指数上得分39。GLM 5.3是45分,Kimi K3是44分。许可证也有自己的门槛:必须标注"Built with Muse Spark Open“,年收入超过2000万美元得单独谈协议。评论区有人说得直接:开放权重不等于能跑在本地硬件上,开放权重只等于非专有。还有人建议直接从torrent下载模型文件,绕过许可证协议。

Reflection和DeepSeek的许可证,宽松得多。周五登场的Reflection Beam,总参数501B,激活参数23B,Apache 2.0,没有附加条件。但最小的官方检查点是NVFP4格式,294GB。周六,DeepSeek的V4.1 Flash 1017也来了,MIT许可证,仓库510GB。DeepSeek自己的表格显示它在DeepSWE基准上77.0分,Opus 5是74.0——厂商数据,得谨慎看。许可证放开了,硬件要求照样把大多数人挡在外面。

唯一例外是英伟达。Nemotron 3.5 Bolt和Meta同一天发布,总参数74B,激活参数9B。量化感知训练一路压到2bit,整个模型22GB,外加1.7GB视觉投影器。它就是冲着24GB显存设计的,发布当天就支持Unsloth的GGUF格式,以及llama.cpp、Ollama、LM Studio。卖24GB显卡的公司,成了本周唯一为24GB显卡做模型的实验室。

”装得下“不代表”跑得起来“。有评论者指出,23.75GB的模型放进24GB显存时,KV缓存还要占额外空间,根本放不下。而且24GB显存目前仍然高于平均水平,多数人的设备连这条线都够不到。

这波发布里,大模型是主角,但社区聊得最多的反而是小模型。LFM2.5-24B-A2B被评论者点名:24B规模,表现超出预期。让它写一个radix-2快速傅里叶变换的Python实现,一次就对了。几个月前的Qwen 3.8 27b和DeepSeek V4 Flash Vision,至今还是”现实本地"段位的代表。也有人在等Qwen 4,说会让这周的模型过时。硬件这边,评论者问AMD为什么没动静。他们提到,英伟达刚移除NVLink,多卡互联空出一个明显的口子。

月底前,Mistral的Large 4权重也要落地,总参数1T,外号Le Chonk。24GB档位能选的模型只会更少。这一周,模型越做越大,许可证有松有紧。唯一照顾消费级显卡的实验室,来自卖显卡的公司。这种分工,短期内看不到改变。

关键事实

阅读原文
📚 相关主题 开源大模型本地部署行业动态

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新