AI Pulse
📡 X 信号

26B 模型塞进 12GB 显存:RTX 3060 跑 Inkling 2 Mini,262K 上下文

26B 模型塞进 12GB 显存:RTX 3060 跑 Inkling 2 Mini,262K 上下文

单张 RTX 3060 运行 Inkling 2 Mini。12GB 显存。(配置见下方)262K 上下文。解码速度约 41 tok/s,预填充约 170 tok/s。

@thinkymachines 的 26B 循环 MoE:24 层权重,中间 12 层每个 token 运行三次。unsloth 的 2-bit 量化占 8.5 GB,所以整个模型都放在 GPU 上,没有 CPU 卸载。

是的,预填充速度慢得离谱,是我发过的最慢的一次。llama.cpp 对该模型的支持才刚出几个小时:这个架构还没有 flash attention,而且内存占用随上下文长度 × 批大小增长,所以 -ub 必须保持在 16 才能装下 262K。即使批大小很大,最高也只能到约 375 tok/s,而且 CPU 卸载没有帮助。

配置:llama-server -m Inkling-2-Mini-UD-IQ2_XXS.gguf -ngl 99 -c 262144 -fa on --jinja -np 1 --cache-type-k q4_0 --cache-type-v q4_0 -b 2048 -ub 16 --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0 --reasoning on

权重:
原始模型:
运行环境:llama.cpp 主分支 + 这个开源修复

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新