AI Pulse
📡 X 信号

华为开源MACaQ:64分钟量化千亿模型,显存只要32.5GB

华为开源MACaQ:64分钟量化千亿模型,显存只要32.5GB

🫨炸了!华为直接开源MACaQ,仅用64分钟把Qwen 122B千亿大模型完整量化完,峰值显存只要32.5GB!本地推理党、量化党、多模态党,这波真的可以直接起飞了!

以前量化这种级别模型要半天甚至几天、显存爆炸,现在直接把门槛打穿。

关键亮点

1️⃣Qwen 122B:64分钟 + 仅32.5GB显存(流式逐层量化,不用一次装下整个模型)

2️⃣W4A4(MXFP4)精度:比MR-GPTQ、DuQuant++更低困惑度,或匹配它们最佳结果但量化时间只要1/11

3️⃣推理加速:Qwen3系列W4A4下prefill 2.33×、decode 2.58×,开销仅+2.3%

4️⃣真正模型无关:文本 + 图像 + 视频 + 音频 + 3D,一套工具全搞定

5️⃣直接出高质量GGUF(llama.cpp)/ vLLM / Diffusers / PyTorch,还带MACaQ-R可二次精炼已有GGUF

快速上手

1️⃣git clone && cd MACaQ

2️⃣按后端选环境(llama.cpp / vLLM / Diffusers 等)安装依赖

3️⃣准备校准文本 + 模型路径

4️⃣一行命令跑量化(例:python llamacpp/macaq.py quantize --model ... --calibration ... --format IQ4_XS --output ...)

5️⃣直接用标准llama.cpp或vLLM加载跑起来

GitHub(Apache 2.0):

论文:

#MACaQ #量化 #LLM #开源 #华为 #Qwen #本地AI #W4A4 #GGUF

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新