AI Pulse
📡 X 信号

DeepSeek-V4.1-Flash-1017 量化版实测,MMLU-Pro STEM 拿 93 分

DeepSeek-V4.1-Flash-1017 量化版实测,MMLU-Pro STEM 拿 93 分

我的 DeepSeek-V4.1-Flash-1017 量化版本现已上线,适用于 TP=2 的 DGX Sparks。三个版本使用相同的 353 道题:新版 / Mia 2.9 / 我旧的 q28-v2。

MMLU-Pro STEM:93 / 91 / 90(满分 100)
LiveCodeBench:14 / 11 / 11(满分 17)
MBPP+:50 / 49 / 50(满分 60)
HumanEval+:34 / 34 / 33(满分 40)
SciCode:6 / 6 / 5(满分 10)
MATH-500:36 / 36 / 36(满分 40)
MGSM:40 / 40 / 40
BFCL 工具调用:39 / 39 / 39(满分 40)
多步工具链:6/6、6/6、4/6

这些样本量较小,所以我的理解是「在更小的模型包里,性能至少不逊色」。这不是一次碾压式的提升。我真正在意的差距在 LiveCodeBench 和工具链上,我旧的量化版本在这两项上一直掉链子。

我针对编码、科学和智能体任务做了校准。权重和配方在评论区。配方已更新为我当前的配置,但基本没怎么变。@MiaAI_lab,我还是不知道你们是怎么把效果做得这么好的。等你们的 Engine Aware Quant(EAQ)系统就绪,我都等不及要用了。

2.8 BPW,EXL3,203.8 GB,在两台 DGX Sparks 上运行,搭配 @ashxhart 的 TensorFold。
- 1M 上下文
- 图像输入
- 配合 NVMe 卸载,总缓存达 210 万 token。

老规矩,如果遇到任何问题,请告诉我或提交 PR。你打算先拿它跑点什么?

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新