Unsloth发布Dynamic 3.0 GGUF 模型文件(3.8-27B)
🔥 🛑 如果你已经从 Unsloth 下载了 Qwen3.8-27B,你可能需要重新下载一次。👀
Unsloth 发布了全新的 Dynamic 3.0 GGUF,这些是全新的模型文件,不是你能在 LM Studio 或 llama.cpp 里开启的设置。🤯
Qwen3.8-27B 现在可以压缩到约 6.2GB。新增量化选项大致如下:
🟢 UD-IQ1_S — 6.2GB
🟢 UD-IQ1_M — 6.7GB
🟢 UD-IQ2_S — 8.4GB
🟢 UD-Q3_K_XL — 13.1GB
🟢 UD-IQ4_XS — 14.3GB
🟢 UD-Q4_K_M — 16.5GB
🟢 UD-Q6_K — 22GB
Unsloth 表示,相比此前的量化方法,Dynamic 3.0 在相同文件大小下,能保留多得多的原模型行为。
⚠️ 如果你已经下载了旧版 Unsloth Qwen3.8 GGUF,Dynamic 3.0 是内置在权重里的。👉 你需要重新下载新的 UD-... GGUF 才能使用它。
不存在 →
❌ LM Studio 里的“Dynamic 3.0”勾选框
❌ 能在运行时转换旧 GGUF 的 llama.cpp 命令
你只需要下载新模型,正常运行即可。
支持:
✅ llama.cpp
✅ LM Studio
✅ RTX / CUDA
✅ AMD / Strix Halo(通过 llama.cpp)
✅ CPU
✅ Apple Metal(通过 llama.cpp)
原生 MLX 版本:暂未推出。
不要把它和 Qwen3.8 的 MTP 支持搞混。
💾 Dynamic 3.0 = 更低内存占用下更好的质量
⚡ MTP = 更快的生成
一个 27B 模型能进入 8GB 级硬件的使用范围,太疯狂了!
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖