Unsloth发布v3.1 GGUF 量化版本

我们正在为 DeepSeek-V4.1-Flash-1017 发布全新的 Unsloth v3.1 GGUF 量化版本。我们进行了基准测试，结果显示 v3 和 v3.1 的表现优于 GSQ-RCO。

我们也无法复现 GSQ-RCO 给出的数据——1bit 版本在 AIME25 上的得分并非 100%，而是 91.88%。Livecodebench 和 GPQA 的数据同样存在偏差。

还有人声称 KLD 不是一个好的指标，人们可以“操纵”KLD。但量化的首要目标是在最小化 KLD 的同时，尽可能减少磁盘空间占用。如果 KLD 为 0，这意味着你的量化模型与 16bit 模型完全一致，因为 logits 得到了完美的建模。

我们在多个基准测试上进行了评测，包括 AIME25、Aider Polyglot、LiveCodeBench v6、HMMT 2026、GPQA Diamond、MMLU-Pro 和 IFEval，同时记录了推理长度，以观察低比特量化模型是否会思考更长时间。

我们的结果显示，低比特量化模型的思考时间确实比未量化模型稍长——我们计划对此进行研究，并进一步优化量化效果。然而，即使在推理长度方面，我们也仍然遥遥领先于 GSQ-RCO。

我们在更新后的博客中提供了完整的基准测试数据、测试方法（例如，AIME25 我们每题运行 16 次并取平均值）以及更多内容，链接如下：