AI Pulse

4.3小时、490次调用:Inkling-2-Mini 预填充快 llama.cpp 近6倍

最近,Inkling-2-Mini 发布后,我想看看我们能让一个全新的、非标准的架构(因为它使用循环 transformer)在 Strix Halo 上跑得多快。所以我决定用 loom(loom-fun.dev)来试试!以下是我在几个小时内得到的结果。

环境配置

模型:Gemini 4 Neon

鉴于最近 Gemini 4 Neon 的热度,我想试试它(也因为它排在 kernelbench.com 的榜首)。

编码 Agent:pi.dev,使用 loom-skills 剧本(移植 → 达到峰值 → 优化 → 基准测试)。

结果

Gemini 4 Neon 将未经修改的 unsloth UD-Q4_K_XL GGUF 变成优化且通过正确性门禁的包,用时约 4.3 小时,约 490 次工具调用。loom skills 剧本在通过基于 llama.cpp 的正确性门禁之前不会计算速度。这意味着 token 级 golden 样本最长 37k tokens、多轮工具调用循环、并发 vs 串行等。

以下是结果(Strix Halo 8060S,[Debian 13, kernel 7.2.7, 128 GB],tok/s,相同 GGUF 权重,匹配的推理设置):

tok/sllama.cpp ROCmllama.cpp VulkanLoomLoom vs best llama.cpp
decode23.820.844.81.88x
decode @ ~2k ctx21.620.340.81.90x
prefill ~1k3562891,4274.0x
prefill ~2k3272851,4964.6x
prefill ~9k2782691,5505.6x
prefill ~18k2332491,4655.9x
4 streams (aggregate)54.150.0100.81.86x

- llama.cpp 单流行使用 -np 1 -kvu -c 34k。与 -np 4 相比,这几乎使 ROCm 的短提示 prefill 翻倍。4 流行使用 -np 4。
- Decode 速度约为内存带宽峰值的 80%:228 GB/s ÷ ~4 GB/读 token ≈ 56 tok/s。

几个重要说明

- 我在 AMD 工作,属于 loom 背后的一个团队,但在公开版本发布前我没有这些权重的访问权。所有结果都是在今天模型发布后完成的。
- llama.cpp 对该模型的支持显然还非常初期,性能会随时间提升。
- llama.cpp 二进制:lemonade-sdk/llamacpp-rocm b1383 和 ggml-org b12600 Vulkan
- 带 dspark 的投机解码仍在开发中。

尝试步骤

下面三步展示了从安装 loom 到启动一个 OpenAI 兼容 API 服务器的完整流程:

pipx install "hrx-loom[hf]==0.2.0"

loom-fetch huggingface:loom-fun/unsloth-Inkling-2-Mini-loom:chat --materialize=copy --output=Inkling-2-Mini 

loom-serve --model=Inkling-2-Mini '--device=amdgpu://?completion_spin_ns=4294967295' # 在 8080 端口启动一个 OpenAI 兼容的服务器

相关链接

模型卡:[https://huggingface.co/loom-fun/unsloth-Inkling-2-Mini-loom7

更多 loom 上下文:[https://www.reddit.com/r/LocalLLaMA/comments/1xvcmm0/i_built_speedy_strix_halo_kernels_for_the_top51/8

勘误

编辑 1:是 kernelbench.com,不是 kernelbench.org,抱歉。

阅读原文
📚 相关主题 开源工程

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新