AI Pulse

16GB 显卡能跑哪些本地大模型:实测速度对照

收录 16GB 显存实测 10 条、12GB 显存实测 10 条,出自 2026 年 9–10 月的 Reddit 帖子和 X 推文,速度都是测试者自己报的,本站没有复现。

下面两张表收录 20 条实测,发帖时间在 2026 年 9 月 10 日到 10 月 26 日之间。数据来自 6 个 Reddit 帖子和 6 条 X 推文,其中 2 条出自帖子评论区。每一行的数字都来自同一条帖子或同一条评论,没有跨帖拼接。速度都是测试者自己报的,本站没有复现。

实测档位:16GB 显存

显卡(显存)模型 · 量化生成速度 tok/s运行工具出处
RTX 4080 Super 16GDeepSeek V4.1-Flash-1017 · IQ2_XXS16.7–22.7Strata 0.2.6帖内实测,未写测试人 · 原帖 · 本站
RTX 5080 16 GBQwen3.8-Flash-Next · IQ3_S平均 153.0Basalt发帖者实测 · 原帖 · 本站
RTX 5080 16 GBQwen3.8-Flash-Next · IQ3_S平均 154.9Basalt同上一行
RTX 5060 Ti 16GBBonsai 2 27B · 三元量化单个 17 到 21llama.cpp 服务器作者自测 · 原帖 · 本站当日
RTX 5060 Ti 16 GBQwen3.8-Flash-Next 176.9B · NVFP49.06Inferred-Thoughts v1开发者自测 · 原帖 · 本站
RTX 5060 Ti 16 GBQwen3.6-35B-A3B · NVFP447.3Inferred-Thoughts v1同上一行
RTX 5060 Ti 16 GBQwen3.8-Flash-Next-REAP-320 GGUF · 未写量化档位约 18.3llama.cpp作者自测 · 原帖 · 本站
型号未写,16GBQwen3.8-Flash-Next · IQ4_XS46未写评论者自测,上一行帖子的评论区
RTX 5060 Ti(标题写 16GB)Qwen 3.8 27B · IQ3_XXS-mtp45beellama.cpp作者自测 · 原帖 · 本站
RTX 5060 Ti 16GBQwen3.8-27B · UD-Q3_K_XL45-55llama.cpp评论者自测,上一行帖子的评论区

实测档位:12GB 显存

显卡(显存)模型 · 量化生成速度 tok/s运行工具出处
RTX 3060 12GBTernary Bonsai 2 27B 去审查版 · 三值权重50未写作者自测 · 原帖 · 本站
RTX 5070 12GBQwen3.8-Flash-Next · Q2_0约 94Strata转述 · 原帖 · 本站当日
RTX 5070 12GBQwen3.8-Flash-Next · IQ3_S约 53Strata同上一行
RTX 5070 12GBQwen3.8-Flash-Next 177B · UD-IQ3_XXS约 11.5基于 llama.cpp 的专家流式加载作者自测 · 原帖 · 本站
RTX 5070 12GBQwen3.8-Flash-Next · Q2_065.1Strata转述 · 原帖 · 本站当日
RTX 5070 12GBQwen3.8-Flash-Next · IQ2_XS52.0Strata同上一行
RTX 5070 12GBQwen3.8-Flash-Next · IQ3_XXS44.8Strata同上一行
RTX 3060 12GBBonsai 2 27B + MTP平均 22Hermes agent作者自测 · 原帖 · 本站
RTX 5070 Ti 笔记本 12 GBQwen3.8-Flash-Next · IQ1_S约 35flyweight作者自测 · 原帖 · 本站
RTX 5070 Ti 笔记本 12 GBQwen3.8-27B · IQ2_XXS约 40,类别未注明flyweight同上一行

只说能跑、没给速度的

下面这些帖子写了显存、内存和模型,但没给对应的速度,所以没放进表里。

16GB 显存。 有人在 RTX 5080 上比较了 21 个 Qwen3.8 27B 量化版的质量偏差(KLD)。能装进显存的最大一档是 bartowski 的 IQ4_XS,14.5GiB。unsloth 的两个 UD-Q4_K_XL 是 16.4GiB 和 16.7GiB,作者标了装不下。见原帖和本站,2026-09-05。

另一位评论者说,16GB 显存能跑 Mistral Small 24b 的 Q4_K_S 或 IQ4_XS。用 Q4 缓存时,约 48-50k 上下文可以全部放进显存。见原帖和本站,2026-10-12。

12GB 显存。 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 量化版有两条说法。@NFT_Chen 写「单张12GB显卡 + 46-64GB系统内存即可运行」。IQ2_XXS 是 2.00 bpw,约 249GB;IQ1_M 是 1.75 bpw,约 231GB;其中约 111GB 的 Engram 表从 SSD 内存映射。@BUTA_no_rakuen 给的是用 Strata 时的估计:12GB 显存配 64GB 内存「能运行」,配 128GB「舒适」。他自己也注明,实测要用了才知道。两条都见本站,2026-10-24。

@ItsmeAjayKV 说,Strata 适配这个模型后,12GB 显存加 64GB DDR5 内存、把 Engram 放在 SSD 上,所有量化都能跑。见原帖和本站当日,2026-10-24。

这个模型的去审查版,写的门槛是 12GB 显存、64GB 内存加高速 SSD。三档量化是 IQ1_M(121GB)、IQ2_XXS(138GB)和 IQ2_XS(155GB)。见原帖和本站,2026-11-01。

Strata 跑 Qwen3.8-Flash-Next 125B,写的是「12G 显存 + 32G 内存就能装」。32G 内存选 Coder,48G 以上推荐 IQ2_XS,64G 可以上 IQ3_S。见原帖和本站,2026-10-12。

原文只给了区间。 r/LocalLLaMA 有一篇「10-16GB 显存能跑的模型排行」,要求是 10-16GB 显存加 26-32GB 内存。14 个模型按作者的主观体验排序。「至少 10 t/s」是作者的筛选线,帖里没有逐个模型的速度。链接同上面 Mistral Small 那条。

Gemma 4 31B 的去审查版压到了 11.9GB。原文写「12G 到 16G 显存的游戏本和家用 PC 也能当场开」,没写量化档位。见原帖和本站当日,2026-11-09。

每条实测的条件说明

怎么读表。 生成速度是模型逐字输出的速度。Prefill 是读入提示词的速度,和生成速度不能放在一起比。单位统一写成 tok/s,原文的 t/s、tks、tps、token/s 是同一个意思,数字照抄。

「出处」一栏的说法:作者自测,是发帖人说明是自己跑的;开发者自测,是发帖人就是这个推理工具的作者;转述,是发帖人转述别人的结果;评论者自测,是帖子评论区里读者自己报的数。显卡一栏写的是标称显存,不是占用量。Qwen3.8-Flash-Next 的参数量各帖写法不同,有 125B、176.9B、177B,这里照录原文。

16GB 显存

RTX 4080 Super 跑 DeepSeek V4.1-Flash-1017:配 128G DDR4 内存,8K 上下文,2026-10-26 发帖。Prefill 是 8–22。升级前的旧版 Strata,生成约 10,Prefill 约 4。显存占用 15.4G,内存约 107G,缓存了 853 个专家。同帖还有 R9700 的数字,没写显存,不收。

RTX 5080 跑 Qwen3.8-Flash-Next 的两行:同一台机器,CPU 是 Core Ultra 9 285K,内存 62 GB DDR5-6800,上下文 262K,KV 缓存 int8,2026-10-25 发帖。帖子标题里工具写作 Strata/Basalt。第一行是智能体编程会话,103 次请求,上下文最长 130K。生成峰值 262;Prefill 平均 5,011,峰值 5,118。这个 Prefill 平均值只算了两次大的未缓存读入,分别是 10.7K 和 8K 新 token,99.5% 的提示词 token 来自缓存。第二行是上下文扫描,新提示词 15K-207K。生成峰值 186.6;Prefill 平均 5,475,峰值 5,662。两种负载显存占用都是 15.7 GB,引擎占内存 54.1 GB。

RTX 5060 Ti 跑 Bonsai 2 27B:4 个 Hermes 智能体同时写 4 款游戏,每个 64k 上下文,2026-10-02 发帖。表里是单个智能体的速度,4 个合计超过 76。开 MTP 时单流是 67。模型 5.95GB,显存占用 15.6GB,整卡功耗 130 瓦。系统内存没写。本站只存了这条推文的中译。

RTX 5060 Ti 跑 Qwen3.8-Flash-Next NVFP4:内存 32 GB DDR5,外加 Gen5 NVMe SSD,CPU 是 Ryzen 7 9700X,Windows 11,2026-09-28 发帖。9.06 是 benchmark 那一轮,最好的一轮是 10.4(xhigh effort)。Prefill 是 49.2,用的是 5.5k 的提示词。模型共 119 GiB,约 99 GiB 留在 SSD 上按需读取。同一台机器上 llama.cpp 平均生成 4.9。原文说 v1 只支持 RTX 50 系,只在 Windows 11 和 WSL2 上测过。

同一台机器跑 Qwen3.6-35B-A3B NVFP4:调过参,上下文约 4k,Prefill 是 591。

RTX 5060 Ti 跑 REAP-320:内存 32 GB DDR5,系统能用约 30 GB,CPU 是 Ryzen 7 7840HS,系统交给核显,2026-09-14 发帖。上下文 64k,KV 缓存 Q4。Prefill 约 25.4,内存占用约 27 GB。模型文件约 68.95 GB,原文没写量化档位。作者说,开 mmap 从 SSD 读模型时只有约 2 tok/s,表里是全部放进内存后的结果。

显卡型号没写、跑 Qwen3.8-Flash-Next IQ4_XS 的那一行:是上一行帖子下的评论,内存 64GB,Prefill 1256。运行工具和上下文都没写。

RTX 5060 Ti 跑 Qwen 3.8 27B IQ3_XXS-mtp:模型是 ISTA-DASLab 的 GSQ-RCO 版,2026-09-10 发帖。上下文 85K,KV 缓存 kvarn4,视觉模块同时加载,开了 MTP 草稿。Prefill 约 300。作者说显存还剩 1.5gb。系统内存没写。

RTX 5060 Ti 跑 Qwen3.8-27B UD-Q3_K_XL:是上一行帖子下的评论。关了视觉,开了 MTP,上下文 96k,已用 28k,KV 缓存 q4_0。Prefill 是 400-800,从 800 降到 400。

12GB 显存

RTX 3060 跑 Ternary Bonsai 2:2026-10-15 发帖。50 是加了推测解码草稿头之后的速度,不加是 39。上下文 128k,KV 缓存 q4。模型、草稿头和上下文一共占了 12GB 里的 10.7。系统内存和推理工具没写。数字取自本站存档的英文原文。

RTX 5070 跑 Qwen3.8-Flash-Next 的 Q2_0、IQ3_S 两行:@lxfater 转述 Strata 作者的测试,2026-10-03 发帖。配置是 Ryzen 5 7600 加 64GB 内存,场景是短聊天,Strata 版本没写。原文提醒:94 对应的是压缩更狠的 Q2_0,换量化、拉长上下文,速度都会变。

RTX 5070 跑 Qwen3.8-Flash-Next UD-IQ3_XXS:内存 32GB DDR4-2400,CPU 是 Ryzen 5 5600GT,PCIe Gen3,Windows,2026-10-03 发帖。11.5 是作者的 benchmark 值,原文没说是否只算生成。日常对话是 14–15。一个长代码提示生成 4,892 token 时是 10.15。继承来的旧配置约 7,作者改了 Windows I/O 队列深度等地方后提了上来。上下文和 Prefill 没写。

RTX 5070 跑 Qwen3.8-Flash-Next 的 Q2_0、IQ2_XS、IQ3_XXS 三行:@TeksEdge 转述 Strata 作者,2026-09-26 发帖。内存 64GB DDR5-5600,CPU 是 Ryzen 5 7600,Windows,上下文 128K。三档的 Prefill 依次是 543、472、414。同一台机器上 llama.cpp 约 15 tps,量化没写。配置和上面 Q2_0、IQ3_S 两行相近,但这里是 128K 上下文,那边是短聊天,不是同一次测试。

RTX 3060 跑 Bonsai 2 27B + MTP:用 Hermes agent 连续写了 5 小时游戏,2026-09-24 发帖。表里是平均速度,上下文刚开始时是 50。作者说打包 MTP 后,速度从 26 提到 50。模型 5.95 GB。同帖先写 125k 上下文,后面又写 163k,两个都照录。推理后端和系统内存没写。

RTX 5070 Ti 笔记本的两行:内存 60 GB,2026-09-18 发帖,上下文没写。Qwen3.8-Flash-Next IQ1_S 的 Prefill 约 475。Qwen3.8-27B IQ2_XXS 的约 40,原文没注明是生成还是 Prefill。同帖 DeepSeek-V4-Flash 的 6-7 tok/s 没写量化,不收。

有速度、但没进表的。 ISTA 量化版那条推文写「RTX 3060上IQ2_XXS约8-10 tok/s」,没写是 8GB 还是 12GB 的 3060。TensorSharp 在 RTX 3080 笔记本(16GB)上和 Strata 做了对比,但没写量化,放在延伸阅读里。TokenWing 的帖子列了 12GB 显存加 32GB 内存跑 Ling-3.0 Flash 124B 的 45–50 tps。帖子自己说这是初步的社区自报、没有独立复现,也没写显卡型号和量化。

延伸阅读

本地跑大模型,还用得着好显卡吗?:本站早先的技巧页,讲显存、量化和模型大小的关系。
你的RTX3060/4070能跑什么?14款本地模型实测排行:10-16GB 显存的主观排行,附评论区补充。
一台16GB显存+32GB内存的笔记本,运行了176B模型:TensorSharp 和 Strata 的对比,原文没写量化。
TokenWing开源:12GB显存跑124B大模型:发布方自报的初步数字。
按显存大小分享本地部署大模型路径:按显存档位排的入门顺序建议。
llama.cpp 合并新功能,显存装不下的 MoE 模型提速近一倍:显存装不下时,让 CPU 分担一部分专家计算。帖中有一组数据来自 RTX 3090。
单张4090跑通748B DeepSeek V4.1-Flash,速度破20 tok/s:用的是 48G 魔改 4090,不属于本页的档位。
llama.cpp的补丁集,让显存装不下的MoE都提速,最高3.3倍:在 RTX 4090(24GB)上做的对比,不属于本页的档位。

更新记录

2026-11-21:首版。16GB 显存实测 10 条,12GB 显存实测 10 条,另列只说能跑的记录 9 条。

📎 参考来源

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新