4.3小时、490次调用:Inkling-2-Mini 预填充快 llama.cpp 近6倍
最近,Inkling-2-Mini 发布后,我想看看我们能让一个全新的、非标准的架构(因为它使用循环 transformer)在 Strix Halo 上跑得多快。所以我决定用 loom(loom-fun.dev)来试试!以下是我在几个小时内得到的结果。
环境配置
模型:Gemini 4 Neon
鉴于最近 Gemini 4 Neon 的热度,我想试试它(也因为它排在 kernelbench.com 的榜首)。
编码 Agent:pi.dev,使用 loom-skills 剧本(移植 → 达到峰值 → 优化 → 基准测试)。
结果
Gemini 4 Neon 将未经修改的 unsloth UD-Q4_K_XL GGUF 变成优化且通过正确性门禁的包,用时约 4.3 小时,约 490 次工具调用。loom skills 剧本在通过基于 llama.cpp 的正确性门禁之前不会计算速度。这意味着 token 级 golden 样本最长 37k tokens、多轮工具调用循环、并发 vs 串行等。
以下是结果(Strix Halo 8060S,[Debian 13, kernel 7.2.7, 128 GB],tok/s,相同 GGUF 权重,匹配的推理设置):
| tok/s | llama.cpp ROCm | llama.cpp Vulkan | Loom | Loom vs best llama.cpp |
|---|---|---|---|---|
| decode | 23.8 | 20.8 | 44.8 | 1.88x |
| decode @ ~2k ctx | 21.6 | 20.3 | 40.8 | 1.90x |
| prefill ~1k | 356 | 289 | 1,427 | 4.0x |
| prefill ~2k | 327 | 285 | 1,496 | 4.6x |
| prefill ~9k | 278 | 269 | 1,550 | 5.6x |
| prefill ~18k | 233 | 249 | 1,465 | 5.9x |
| 4 streams (aggregate) | 54.1 | 50.0 | 100.8 | 1.86x |
- llama.cpp 单流行使用 -np 1 -kvu -c 34k。与 -np 4 相比,这几乎使 ROCm 的短提示 prefill 翻倍。4 流行使用 -np 4。
- Decode 速度约为内存带宽峰值的 80%:228 GB/s ÷ ~4 GB/读 token ≈ 56 tok/s。
几个重要说明
- 我在 AMD 工作,属于 loom 背后的一个团队,但在公开版本发布前我没有这些权重的访问权。所有结果都是在今天模型发布后完成的。
- llama.cpp 对该模型的支持显然还非常初期,性能会随时间提升。
- llama.cpp 二进制:lemonade-sdk/llamacpp-rocm b1383 和 ggml-org b12600 Vulkan
- 带 dspark 的投机解码仍在开发中。
尝试步骤
下面三步展示了从安装 loom 到启动一个 OpenAI 兼容 API 服务器的完整流程:
pipx install "hrx-loom[hf]==0.2.0"
loom-fetch huggingface:loom-fun/unsloth-Inkling-2-Mini-loom:chat --materialize=copy --output=Inkling-2-Mini
loom-serve --model=Inkling-2-Mini '--device=amdgpu://?completion_spin_ns=4294967295' # 在 8080 端口启动一个 OpenAI 兼容的服务器
相关链接
模型卡:[https://huggingface.co/loom-fun/unsloth-Inkling-2-Mini-loom7
更多 loom 上下文:[https://www.reddit.com/r/LocalLLaMA/comments/1xvcmm0/i_built_speedy_strix_halo_kernels_for_the_top51/8
勘误
编辑 1:是 kernelbench.com,不是 kernelbench.org,抱歉。