Vera Rubin 训练七项登顶,代理首令牌反比 GB300 慢一倍
训练:七项全胜
英伟达今天公布 Vera Rubin 平台的首批 MLPerf 结果,覆盖 Training v6.1 和 Endpoints v1.0。训练一侧,Vera Rubin NVL72 在全部七项基准测试中登顶。每 GPU 性能最高达到经过高度优化的 GB300 NVL72 基线的 2 倍。
落到具体模型:DeepSeek-V3 671B 在 1024 个 GPU 上训练耗时 4.14 分钟。同等规模的 GB300 用了 8.03 分钟。从 256 个 GPU 扩到 1024 个,扩展效率约 97%。
训练跑得快,省掉的是训练这一段等待。上线快不快,还看别的环节。
推理:十倍能效的注脚
MLPerf Endpoints 上,英伟达称代理推理(Kimi K3)的每瓦特吞吐量超过 GB300 十倍以上。响应速度相同。这个数字是暂定的,还要等 MLCommons 验证。
它出自一组特定配置。32 个 Vera Rubin 加速器处理 1024 个并发查询;对面是 48 个 GB300 加速器,只处理 48 个查询。两边的并发查询数差了一个量级以上,这组对比不是同一条件下的对打。同一次运行里,Vera Rubin 的首令牌时间反而更慢。P90 下 4673.9 毫秒,GB300 是 2305.1 毫秒。
吞吐上去,跑 AI 代理的电力开销就下来;首令牌变慢,复杂任务开头那段等待会更显眼。两组数据摆在一起,能效账好看,不等于每一次响应都更快。
哪一半更扎实
训练横扫是这批结果里更可靠的部分。这也是 Rubin 一代第一次以独立基准的形态公开亮相。代理推理吞吐量是不是当下真正该看的数字,目前没有定论。
训练性能的提升会不会传导到 AI 服务的价格上,英伟达没有说明。
关键事实
- NVIDIA发布了Vera Rubin平台的首个MLPerf结果,包括MLPerf Training v6.1和MLPerf Endpoints v1.0。
- Vera Rubin NVL72在MLPerf Training v6.1的全部七个基准测试中获胜,每GPU性能比优化后的GB300 NVL72基线高出最多2倍。
- 在DeepSeek-V3 671B模型上,Vera Rubin在1024个GPU上训练耗时4.14分钟,而GB300在同一规模下耗时8.03分钟。
- 从256个GPU扩展到1024个GPU时,Vera Rubin的扩展效率约为97%。
- 在MLPerf Endpoints上,NVIDIA声称在代理推理(Kimi K3)上,每瓦特吞吐量比GB300高出10倍以上,且响应速度相同。
- 10x Endpoints数据是暂定的,有待MLCommons验证。
- 10x数据来自特定配置:32个Vera Rubin加速器处理1024个并发查询,对比48个GB300加速器处理48个查询。
- 在该运行中,Vera Rubin的首令牌时间(TTFT)实际上更慢:P90下为4673.9毫秒,而GB300为2305.1毫秒。