是石科技Meta-Infer优化后吞吐提近7倍

💥炸了！8张中国国产PCIe卡把DeepSeek-V4.1-Flash输入吞吐提升近7倍！

不改权重、不改结构。是石科技 Meta-Infer 把社区 Day0 基线从 1932 tok/s 拉到 13274 tok/s，6.87倍，并支持 1M 超长上下文。

要点如下：
🔹PCIe卡没有高速互联，默认部署会退回低效实现，硬件被软件卡死
🔹先补齐内核：sparse-MLA Prefill + 替换慢GEMM，吞吐先到 5850 tok/s
🔹再重构通信与并行：算子融合、计算通信重叠、Prefill/Decode分策、缓存复用

🔹同套方法：V4-Flash +1.55倍；GLM-5.3 +1.92倍，首Token P95 141.6s→46.6s，上下文 27万→105万
▫️MiniMax H3 视频生成端到端 +2.48倍
▫️对比B300仍有差距（约3.5–5.6倍），但PCIe卡已从“能跑”变成“能打”
▫️国产卡也验过，专家并行提交即可再提 11.26%

硬件上限看芯片，实际发挥看软件。

#DeepSeek #V41Flash #MetaInfer #PCIe #推理优化 #大模型部署 #是石科技