Inkling 2 Mini 在 RTX 4060 上比 Qwen 27B 快 3.5 倍
Inkling 2 Mini 在 DeepSWE 1.1 上击败了 Qwen 4 27B,所以我把它装到了单张 RTX 4060(8GB 显存)+ 16GB DDR4 内存的机器上。一次性提示词:“在单个 HTML 文件中用 Three.js 创建一辆逼真的汽车。确保所有细节都到位。可以使用 CDN。”
设置:
• Unsloth Inkling-2-Mini-UD-Q3_K_XL.gguf
- 中等推理强度
- 24k 上下文 + Q8 KV 缓存
在这台机器上,它的速度大约是 Qwen 3.8 27B Dense(Q4_K_XS)的 3.5 倍,而且在还没提高推理预算的情况下,初始输出就已经很不错了。完整的基准测试、llama.cpp 参数和对比数据很快就会发布。
Inkling 2 Mini - 本地运行指南 | Unsloth 文档
unsloth/Inkling-2-Mini-GGUF · Hugging Face
Inkling 2 Mini 击败的是"""QWEN 3.8 27B"""。帖子里打错了。
8GB 显存显卡、单张 RTX 4060 的基准测试和 llama.cpp 参数现已发布
8GB 显存的基准测试和参数在我的新帖子中。
原帖链接
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖