OpenAI自研芯片跑分领先，提速要等2027

OpenAI在Hot Chips会议上晒出了自研AI芯片Jalapeño的详细信息和首批跑分。这款芯片2024年10月首次亮相，由OpenAI与博通合作开发，OpenAI自己的模型也参与了设计过程。公司打算把它做成多代平台，以后AI产品、模型、芯片和内存一起开发。

跑分结果

在SemiAnalysis的InferenceX基准测试里，Jalapeño在每用户token数和每千瓦吞吐量两项指标上都优于当前最好的推理芯片。OpenAI硬件负责人Richard Ho说，结果显示性能提升非常显著。简单说，单位功耗下能服务更多AI工作，响应也更快，高峰期排队时间可能缩短。

怎么做到的

AI生成回复时，要先处理整个请求，再逐字生成内容，中间要反复搬运数据。Jalapeño针对预填充和通信阶段做了专门优化，让模型状态（包括KV缓存）可以放在本地不挪动，减少数据移动和通信延迟。说白了，芯片把更多力气花在计算本身，而不是来回倒腾数据。

什么时候能用

这些优势要等一阵子才能落到日常使用里。Ho估计，Jalapeño在2026年底极小规模部署，2027年才有更明显的规模。基准测试对比的是Nvidia Blackwell系统，等Jalapeño全面铺开时，竞争对手可能已经大幅进步了。芯片的实际成本，以及会不会改变AI服务的定价，目前都没有明确说法。