用 Cerebras 晶圆跑 3 万亿参数 Kimi K3，要 59 片

如何快速部署数万亿参数模型：

单片 Cerebras WSE-3T 晶圆拥有 44 GB 片上内存，而万亿参数级前沿模型仅权重就需要数 TB 空间。我们将以开源模型 Kimi K3（约 3 万亿参数）作为示例。

本示例假设：
- 平均请求大小为 256k
- 4 位权重量化（类似 Hugging Face 的实现）
- 8 位 KV 缓存

## 每层大小
Kimi K3 有 3 万亿参数。如果所有 3T 参数都以 4 位存储，原始参数负载为：
3T × 4 位 / 每字节位数 = 1.5 TB
除以 93 层，得到 1500 GB / 93 = 每层 16 GB

## 晶圆数量
每片晶圆可容纳 2 个线性层，每片晶圆可容纳 1 个稠密层
69 个线性层 / 2 = 35 片晶圆
24 个稠密层 / 1 = 24 片晶圆
总计 = 35 + 24 片晶圆

## 可服务的请求数量
我们只需计算稠密层的 KV 缓存需求。可以用晶圆总存储容量减去一个稠密层的大小，来计算 KV 缓存的剩余空间。
44 GB - 16 GB = 28 GB

要确定特定模型映射支持的并发请求数，首先计算单个 256k 请求占用的缓存量：
576 字节 / 256,000 = 每个序列 147 MB
然后相除：28 GB / 147 MB = 190 个并发请求

同样的方法可扩展到更大的模型：计算权重和请求状态所需的内存，将模型分布到多片晶圆上，并将它们连接成流水线。每增加一片晶圆，就能提供更多计算能力和片上内存，从而支持超出单芯片容量的模型。