华为开源MACaQ:64分钟量化千亿模型,显存只要32.5GB
🫨炸了!华为直接开源MACaQ,仅用64分钟把Qwen 122B千亿大模型完整量化完,峰值显存只要32.5GB!本地推理党、量化党、多模态党,这波真的可以直接起飞了!
以前量化这种级别模型要半天甚至几天、显存爆炸,现在直接把门槛打穿。
关键亮点
1️⃣Qwen 122B:64分钟 + 仅32.5GB显存(流式逐层量化,不用一次装下整个模型)
2️⃣W4A4(MXFP4)精度:比MR-GPTQ、DuQuant++更低困惑度,或匹配它们最佳结果但量化时间只要1/11
3️⃣推理加速:Qwen3系列W4A4下prefill 2.33×、decode 2.58×,开销仅+2.3%
4️⃣真正模型无关:文本 + 图像 + 视频 + 音频 + 3D,一套工具全搞定
5️⃣直接出高质量GGUF(llama.cpp)/ vLLM / Diffusers / PyTorch,还带MACaQ-R可二次精炼已有GGUF
快速上手
1️⃣git clone && cd MACaQ
2️⃣按后端选环境(llama.cpp / vLLM / Diffusers 等)安装依赖
3️⃣准备校准文本 + 模型路径
4️⃣一行命令跑量化(例:python llamacpp/macaq.py quantize --model ... --calibration ... --format IQ4_XS --output ...)
5️⃣直接用标准llama.cpp或vLLM加载跑起来
GitHub(Apache 2.0):
论文:
#MACaQ #量化 #LLM #开源 #华为 #Qwen #本地AI #W4A4 #GGUF