5600亿大模型跑通四台DGX Sparks，评论区心疼电费
sudoing 把 5600 亿参数的 Ling 3.1 Flash 加载到了四台 DGX Sparks 上。这是混合专家（MoE）架构，每个 token 只激活 250 亿参数。sudoing 喜欢 Ling 的早期版本，这次想试试新的。他本来有两台 Sparks，但模型装不进去。一个德国人向他开放了四台机器的访问权限。
跑通的办法是 Atomic Chat 发布当天的 Q4 GGUF 量化版。模型通过 llama.cpp 的 RPC 接口，分到四台机器上协同计算。选 GGUF 而不是 vLLM，因为当时 vLLM 还没有官方的 FP4 构建。Q4 量化把权重压小，牺牲一点精度换能装下；RPC 让四台机器像一台机器一样分工。
目前没有性能数据。sudoing 预计带宽和速度都会很难受。他想跟 1240 亿参数的 Ling 3.0 Flash 比一比，看回答质量有多大区别。值不值得等，还没有答案。
他在帖子里附了三个链接：Atomic Chat 的 GGUF 仓库、llama.cpp、官方模型页。想跟着试的人，链接都齐了。更便宜的电脑能不能这么玩，也还是未知数。
评论区里，有人在心疼电费：四台 DGX Sparks 同时跑一个模型，电费单看着就疼。有人直接问值不值。还有人认为这是 InclusionAI 在社区做虚假宣传，用多个账号制造热度。这种怀疑没有定论，但社区对厂商营销动作有戒心。
本地跑超大模型，代价不止硬件。电费、带宽、等待时间都得算进去。sudoing 自己两台装不下，用四台才跑起来；速度还不知道。但 5600 亿参数的模型，确实在本地服务器上工作起来了。
关键事实
- Ling 3.1 Flash 是一个 560B 参数的 MoE 模型，每个 token 激活 25B 参数。
- 用户 sudoing 将 Ling 3.1 Flash 加载到四台 DGX Sparks 上。
- sudoing 之前喜欢早期的 Ling 模型，想测试这个新模型。
- 该模型无法在 sudoing 的两台 Sparks 上运行，因此德国有人提供了四台 Sparks 的访问权限。
- sudoing 使用了 Atomic Chat 的 day-one Q4 GGUF 量化版本，通过 llama.cpp RPC 分布式运行在四台机器上。
- 当时没有官方的 vLLM FP4 构建版本，所以选择了 GGUF 路线。
- 截图没有显示性能数据。
- sudoing 预计带宽和速度会很糟糕，但想看看与 124B 的 Ling 3.0 Flash 相比如何。