谷歌第八代TPU：单颗算力仅英伟达1/3，却能连9600颗芯片

谷歌发布了第八代TPU的两款新系统：TPU 8tx 和 TPU 8i Max。彭博社报道，两款系统预计2027年上市。这是谷歌第一次在一年内推出四款TPU系统，今年四月已经发布过另外两款。定价和完整规格都还没公布。

TPU 是张量处理单元的缩写，行业里归为 ASIC，也就是专用集成电路。普通芯片什么任务都能跑，ASIC 只为一件事情设计。TPU 专做的那件事是把巨大的数字网格相乘，也就是矩阵乘法。每个 TPU 的核心是一个矩阵单元，谷歌称之为 128×128 的脉动阵列。

谷歌自研 TPU 的历史可以追到 2015 年，第一代在自家数据中心投入使用，2016 年在 I/O 大会公开。第一代只能运行已经训练好的模型，训练还得靠从外面买的 GPU。直到 2018 年初 Cloud TPU 推出，谷歌云客户才第一次能租到这种芯片。2024 年，谷歌在 I/O 上发布了第六代 Trillium。

TPU 的起点是一道算术题。Jeff Dean 算过：如果数亿人每天用语音识别和谷歌对话 3 分钟，谷歌得把数据中心的计算机数量翻一倍。谷歌最初预计第一代 TPU 造不到 1 万台，最后造了超过 10 万台。

TPU 不是 GPU 的即插即用替代品。它在大型矩阵密集型任务上更强，灵活性不如 GPU。谷歌自己的文档就建议，充满自定义操作的模型用 GPU，以矩阵数学为主的模型用 TPU；排序和推荐系统这类带巨大嵌入向量的任务，也适合 TPU。芯片对芯片比，TPU 不是最快的。Tom“s Hardware 估计，英伟达和 AMD 最新芯片的原始算力约为单个 TPU 8t 的 3 倍。谷歌一边出租 TPU，一边也还在出租英伟达 GPU，按任务各取所需。

TPU 的竞争点更多在系统层面。TPU 8t 的超级 pod 能连 9,600 个芯片，共享 2 PB 高带宽内存，专为训练超大模型设计。英伟达当前 GPU 在单个 NVLink 设置里最多连 576 个。谷歌的网络还能跨站点连接超过 100 万个 TPU。第二代 TPU pod 用定制高速互连连了 256 个芯片，这个思路后来长成了今天的巨型超级 pod。

TPU 8i 专门用来快速响应请求，每芯片有 288 GB 高带宽内存和 384 MB 片上内存。8i 换了一种叫 Boardfly 的布局，取代旧的网格布局，在 1,024 芯片的设置里，把最坏情况下的芯片间跳数从 16 跳减到 7 跳。这一代 TPU 第一次把训练芯片和推理芯片分开设计，不再让一个芯片兼顾两边。四月发布的两款芯片都用了谷歌第四代液冷，能压住风冷处理不了的功率。

谷歌现在用自家 AI 设计芯片。AlphaChip 和 Gemini 把芯片布局设计的时间从数周缩到数小时。谷歌自己的模型，包括 Gemini，已经在 TPU 上跑了好几年。

两款新系统里，TPU 8tx 面向政府和强监管行业，用硬件级安全保护数据，数据在处理过程中也受保护。TPU 8i Max 把两个现有的 8i 芯片封装在一起，计算能力和内存带宽翻倍，适合多个 AI 代理同时处理同一个大型代码库的场景。

谷歌说，已有近 100 家公司使用 TPU，彭博社点名了苹果、Meta 和甲骨文。Tom”s Hardware 报道，Meta 签了多年协议租用 TPU，Anthropic 承诺从 2027 年开始使用 3.5 GW 的 TPU 容量。这些公司具体拿 TPU 跑什么服务，谷歌和他们都没细说。

这些芯片买不到，只能通过谷歌云租。新芯片要等到 2027 年，价格和规格都还是空的。

对在谷歌云上跑 AI 工作负载的开发者，TPU 现在值得和 GPU 做一次价格对比，尤其是大型训练任务或长上下文服务。谷歌同时提供两种芯片，云用户可以按任务特征挑，选择多了，比价的空间也就有了。

学 AI 的人，芯片品牌其实不如底层概念重要。训练和推理的区别、AI 为什么主要是矩阵数学、内存和网络为什么和原始算力同样关键——这些才是看懂 TPU 和 GPU 之争的入口。