Nemotron Bolt跑在Jetson上，27.7 tok/s比官方快1.8倍

成果概览

我们刚把 NVIDIA 最新的 Nemotron Bolt 模型跑在 Jetson Orin Nano Super 上，推理速度达到 27.7 tok/s（tokens per second，每秒生成的词元数）。作为对照，官方发布版本配合 Llama CPP（llama.cpp）只有 15 tok/s，也就是说这次的方案快了 1.8 倍。

这个速度意味着什么：一个完全跑在便宜边缘设备上的本地模型，已经能写出游戏程序了，不需要把请求发到云端。

提速的关键：int4 量化 + TensorRT 引擎

这次用的是我们自己维护的 TensorRT edge LLM 变体，它支持 int4 量化。

为什么这一步重要：在 Orin 这类边缘设备上，解码阶段通常受限于内存带宽，而不是算力。把权重压到 int4 后，模型体积和每步要搬的数据都显著变小，因此同样的硬件能换来接近两倍的吞吐。对照原版 BF16 权重（模型名里的 BF16 就是这个意思）与 llama.cpp 路径，差距主要来自这里。

在线体验

如果你想先感受模型在这台设备上的实际表现，我们用自己的 Jetson 设备在网站上托管了这个模型，可以直接在线试：

https://embedl.com/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-BF16/orin-nano-super?tab=run

本地运行

想在本地复现同样的效果，可以把模型作为 TensorRT engine 运行，使用的是我们提供的 TensorRT edge LLM 变体（支持 int4 量化），入口同样是上面那个链接。

模型标识：NVIDIA-Nemotron-3.5-Bolt-E4B-BF16，目标设备：Jetson Orin Nano Super。