本地同时跑18个AI任务不排队？新模型用“偷跑”技术实现

Google的Gemma-4-26B-A4B是一个混合专家模型（MoE），总参数量260亿，但每处理一个token只激活40亿参数。这种稀疏激活让计算资源大幅节省，使其在DGX Spark单机上就能支持18路并发，而同类模型Nemotron-Omni只能处理8路。

Gemma-4的“偷跑”技术叫多token预测推测解码（MTP）。它用一个独立的助手模型提前预测下一个词，如果猜对了就免费拿到这个词，无需主模型再计算，从而加速推理。不过，推测解码不一定能时刻提速。多数场景下它能减少延迟，但在某些条件下收益不明显。文章没有给出MTP在18路并发下的实际加速比。

在33项测试中，Gemma-4通过了30项（91%），失败的3项全是音频测试。原因不是Bug，而是模型没有音频编码器。如果排除音频，剩余30项测试通过率100%。Gemma-4不支持音频输入，而Nemotron-Omni支持，这是它的一个明显短板。

Gemma-4的上下文窗口为262,144 token，是Nemotron-Omni（131,072）的两倍。这么长的上下文窗口，一次可以处理很长的文档而无需分段。但在总测试时间上，Gemma-4用了570.7秒，Nemotron-Omni仅444.9秒，Gemma-4慢了22%。平均吞吐量也略低：49.7 tok/s对51.9 tok/s。

模型提供两种思考模式。思考模式下，任务耗时和输出量分别是非思考模式的7.6倍和7.8倍。复杂推理任务适合开启思考，简单任务关闭更省时间。

部署Gemma-4需要一台NVIDIA DGX Spark（GB10 Grace Blackwell，128 GB统一内存），以及两个手动补丁：一是修复utils.py中cache_scale_mapper的None保护问题，二是从Docker镜像中提取gemma4.py模型定义文件。打上补丁后，服务器启动约3分钟，包含模型加载、KV缓存分配和CUDA图捕获。KV缓存采用FP8格式，大小为61.46 GiB，可容纳约477万token。

测试使用NVFP4量化，这让模型装入128 GB内存成为可能，但文章没有提供与BF16版本的精度对比，量化对模型质量的影响尚不清楚。测试日期为2026年7月5日，vLLM为nightly版本v0.23.1rc1.dev786。

Gemma-4在并发和上下文长度上胜过Nemotron-Omni，但速度较慢、不支持音频，部署也需要中等规模的本地硬件和手动补丁。它在音频之外的模态上的具体质量差异、MTP推测解码的实际收益、以及DGX Spark的成本能否被用户接受，这些信息目前都没有公开。