AI Pulse

Vera Rubin 训练七项登顶,代理首令牌反比 GB300 慢一倍

训练:七项全胜

英伟达今天公布 Vera Rubin 平台的首批 MLPerf 结果,覆盖 Training v6.1 和 Endpoints v1.0。训练一侧,Vera Rubin NVL72 在全部七项基准测试中登顶。每 GPU 性能最高达到经过高度优化的 GB300 NVL72 基线的 2 倍。

落到具体模型:DeepSeek-V3 671B 在 1024 个 GPU 上训练耗时 4.14 分钟。同等规模的 GB300 用了 8.03 分钟。从 256 个 GPU 扩到 1024 个,扩展效率约 97%。

训练跑得快,省掉的是训练这一段等待。上线快不快,还看别的环节。

推理:十倍能效的注脚

MLPerf Endpoints 上,英伟达称代理推理(Kimi K3)的每瓦特吞吐量超过 GB300 十倍以上。响应速度相同。这个数字是暂定的,还要等 MLCommons 验证。

它出自一组特定配置。32 个 Vera Rubin 加速器处理 1024 个并发查询;对面是 48 个 GB300 加速器,只处理 48 个查询。两边的并发查询数差了一个量级以上,这组对比不是同一条件下的对打。同一次运行里,Vera Rubin 的首令牌时间反而更慢。P90 下 4673.9 毫秒,GB300 是 2305.1 毫秒。

吞吐上去,跑 AI 代理的电力开销就下来;首令牌变慢,复杂任务开头那段等待会更显眼。两组数据摆在一起,能效账好看,不等于每一次响应都更快。

哪一半更扎实

训练横扫是这批结果里更可靠的部分。这也是 Rubin 一代第一次以独立基准的形态公开亮相。代理推理吞吐量是不是当下真正该看的数字,目前没有定论。

训练性能的提升会不会传导到 AI 服务的价格上,英伟达没有说明。

关键事实

阅读原文
📚 相关主题 NVIDIAMLPerfAI芯片

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新