35B大模型单卡跑出680 tokens/s，开源圈炸了

你有没有过这种体验：对着AI对话框敲下问题，盯着光标闪了半天，才一个字一个字往外蹦？尤其是让它写长文、改代码的时候，等待的时间比读的时间还长。

现在，这种“挤牙膏”式的生成方式，可能要被改写了。

中国团队DiffuSpace Labs刚刚开源了一款叫Clover-35B-A3B-Preview的模型。它最炸的参数是：350亿总参数的大模型，在单张显卡上，用BF16精度（一种兼顾精度和速度的计算格式），能跑到每秒680个token（可以粗略理解为每秒生成680个汉字）。

这个速度是什么概念？现在主流的GPT、Qwen这类模型，都是“自回归”架构——就像人写作文，一个字一个字往外蹦，写完一个字再想下一个。而Clover用的是“扩散语言模型”（dLLM）架构：它先在空白文本上随机撒点噪声，然后像修图一样，并行地、一块一块地把噪声擦掉，逐步还原出完整的句子。

@plotarmordev 认为：这个模型可能不是最聪明的，但思路非常有意思。它不是逐字生成，而是并行地填充文本块，理论上能把生成速度提上去。

@NFT_Chen 直接点出了核心价值：这种并行扩散+实时修正的方式，能把Agent（能自主执行任务的AI程序）的多轮交互延迟直接砍半。

这里有个容易被忽略的细节：Clover是个MoE（混合专家）模型，总参数350亿，但每个token只激活30亿参数。很多人以为“激活3B”意味着显存占用小，但实际上，MoE模型所有专家的权重都得常驻在显卡显存里，路由器才能随时把任务分给对应的专家。所以“激活3B”省的是计算量，不是显存。

那这对普通人意味着什么？

首先，以后用AI写长报告、改代码、做表格，可能不用再盯着生成进度条干等了。其次，开源模型的推理速度上来了，意味着中小企业甚至个人，都能在自己的服务器上跑起大模型，不用再按调用次数给闭源API交钱。

不过，开源模型和闭源顶尖模型之间，通常还有4个月左右的能力差距。Clover在基准测试上的表现，能不能真的落地到复杂的Agent任务里，还得看实际用起来的效果。

当生成速度不再是瓶颈，你最想让AI帮你一口气写完什么？