AI Pulse
📡 X 信号

Unsloth发布Dynamic 3.0 GGUF 模型文件(3.8-27B)

Unsloth发布Dynamic 3.0 GGUF 模型文件(3.8-27B)

🔥 🛑 如果你已经从 Unsloth 下载了 Qwen3.8-27B,你可能需要重新下载一次。👀

Unsloth 发布了全新的 Dynamic 3.0 GGUF,这些是全新的模型文件,不是你能在 LM Studio 或 llama.cpp 里开启的设置。🤯

Qwen3.8-27B 现在可以压缩到约 6.2GB。新增量化选项大致如下:

🟢 UD-IQ1_S — 6.2GB
🟢 UD-IQ1_M — 6.7GB
🟢 UD-IQ2_S — 8.4GB
🟢 UD-Q3_K_XL — 13.1GB
🟢 UD-IQ4_XS — 14.3GB
🟢 UD-Q4_K_M — 16.5GB
🟢 UD-Q6_K — 22GB

Unsloth 表示,相比此前的量化方法,Dynamic 3.0 在相同文件大小下,能保留多得多的原模型行为。

⚠️ 如果你已经下载了旧版 Unsloth Qwen3.8 GGUF,Dynamic 3.0 是内置在权重里的。👉 你需要重新下载新的 UD-... GGUF 才能使用它。

不存在 →
❌ LM Studio 里的“Dynamic 3.0”勾选框
❌ 能在运行时转换旧 GGUF 的 llama.cpp 命令

你只需要下载新模型,正常运行即可。

支持:
✅ llama.cpp
✅ LM Studio
✅ RTX / CUDA
✅ AMD / Strix Halo(通过 llama.cpp)
✅ CPU
✅ Apple Metal(通过 llama.cpp)

原生 MLX 版本:暂未推出。

不要把它和 Qwen3.8 的 MTP 支持搞混。

💾 Dynamic 3.0 = 更低内存占用下更好的质量
⚡ MTP = 更快的生成

一个 27B 模型能进入 8GB 级硬件的使用范围,太疯狂了!

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新