你的RTX3060/4070能跑什么？14款本地模型实测排行
距离 c.ai 推出第一个“幻觉”模型已经 4 年了，但我们在 LLM 的自发性/有趣幻觉特征方面依然远未达标。幸运的是，去年出现的新架构，让处于 10-16GB 显存区间的用户也能通过 Kobold 或 LLAMA 跑起可用模型，上下文窗口最高到 64k。
> 硬件要求：10-16GB 显存 + 26-32GB 内存。（这个区间覆盖 RTX 3060/3080/4070 等主流显卡，是本地跑模型最常用的显存段。）
评测维度
以下是本次评测的七条标准：
- 速度：每秒 token 数（t/s）是否至少达到 10。
- 连贯性：对话/独白/视角（POV）除基础逻辑（机器人感）或行为主义外，内部是否自洽。
- 语言处理（JP/PT-BR/US-EN）：能否处理/解读错别字、语感细节或粗鲁措辞。
- Slop 套话频率：从“casting long shadows”（投下长长的影子）到“smells like ozone and burnt sugar”（闻起来像臭氧和焦糖）这类 AI 生成套话的出现频率。
- MoE vs FULL：是否更愿意选 MoE（Mixture of Experts，混合专家）而非 FULL（全量密集）模型。
- 审查：所有这些模型要么无审查，要么即使在 NSFL（不适合工作/生活场合）话题上拒绝率也极低，不用担心。
- 指令/工程：我分别用带上/不带 Pandora Instructions（社区常用的一套高复杂度角色扮演指令）的方式测过；如果一个模型能处理 23 条相互交织的规则，那它就能处理任何情况——甚至完全不需要提示词。
附注：我忽略了所有 CoT（Chain of Thought，思维链）模型——浪费 token、更慢、完全没必要。好好写提示词效果一样。任选一个高于 Q_4_K 的量化档位就行，尺寸不重要（ ͡° ͜ʖ ͡°）。
关键背景：我对 70B、120B 和 300B 模型做了一次涉及动漫/漫画/电影/音乐的小型知识测试，发现只有 200B 以上的模型真正具备这类数据；即使是 120B 也极少有你想找的媒体资料。可问题是：谁跑得动 200B+？
排行：从最佳到最差
注：Heretic、UD、Dark 等后缀是社区无审查微调版本的常见命名。
1. Gemma 4 26B-A4B：Qwen 35B-A3B 的强化版，但对话/独白更好、指令性更强、略更聪明/精准、也更有趣。
2. Qwen 3.6 35B-A3B（Abliterated，去审查版）：快、准、还算有趣；但若没有合适的指令性提示，可能过度拟合之前的输入/输出格式/模式，或因指令性而胡言乱语/问太多问题。
3. Gemma 4 Instruct 19B-A1B Heretic（Abliterated）：相当于 26B-A4B 但更生硬、朴素一点，同时保持准确性和逻辑。
4. The Omega Directive 14B：遵循指令、套话率低、文笔不错；但上下文累积到一定程度后可能变得可预测。
5. GLM-4.7-Flash 31B-A3B（Abliterated）：表现接近 Qwen 35B-A3B，但更直白，对语感细节/措辞的解读能力较弱。
6. Qwen3 30B A1.5B 64K High Speed NEO MAX：本质上是 35-A3B 加上增强推理。
7. MN CaptainErisNebula Chimera Heretic Uncensored 12B（Abliterated）：有点怪，急匆匆想一次性填满所有东西，充满套话；但它是所有模型中最主动的，不容易陷入循环，对话/独白不错——只是不适合问答（Q&A）角色。
8. Mistral Nemo Instruct 2407 HERETIC HI Claude Opus 12B：还行，套话似乎被重新措辞得更好了；但可能过度拟合模仿视角（POV），或大多数时间都在试图撩你，不适合 Q&A 角色。
9. Gemma 3 12B GLM-4.7 Flash INSTRUCT Hybrid Heretic（Uncensored，无审查）：模仿性意外地好、准确；但可能过度拟合之前的输入格式/风格，频繁出现套话，或缺乏幽默感/过于拘谨。
10. Ministral Instruct 2512 Absolute Heresy 14B：Mistral 在遵循复杂规则（正则表达式、状态面板、命令、lorebook 世界观设定等）方面很糟糕，或把 {{char}}（角色占位符）变成撩机；讽刺的是，它偏偏是对话/独白/自发性方面最好的一个。
11. GLM 4.6V Flash Hybrid ?B：UD 版本，但套话频率更低，拒绝也更少。
12. GLM 4.6V Flash UD 9B：取决于你给 {{char}} 设定的性格，可能显得机械/重复、问太多问题；尽管遵循全部 23 条 Pandora 规则 + 正则命令的准确率很高。
13. Gemma 4 E4B UD：绝望之选——很小、快、准、聪明，但大概会重复自己或冒出套话。
14. LFM2 12B A1B SpeedDemon The Deckard II HERETIC（Uncensored）：快如闪电，非常准确且聪明，但缺少灵魂/风味。
总体评价
GLM 往往悲观且过于逻辑；Qwen 往往太爱追问、太花哨；Gemma 往往有趣又有创意；Mistral 往往轻浮且异常具体；Llama 往往马虎且可预测。这一倾向贯穿它们的所有微调版本——无论叫 Omega、Heretic、Deckard、Dark、Horror、RP、Style 还是别的什么。
运行设置
Kobold 加载不了这些大模型：用 LLAMA 跑 QWEN 35B（20.6GB）和 GLM 31B（17.7GB）。其余模型都在 Kobold 中以最高速度运行，上下文 40-64k，开启 FlashAttention/FastForwarding/SWA/SmartCache + MMPROJ，若支持则加 TTS。
试过但已排除的模型
Mistral 24B、GPT 20B OSS、Kimi K2、Phi-4、Skyfall、DeepSeek、Cydonia、Magistry、Magnus Cydons 等——要么太大太慢，要么表现差，要么有更好的替代品。
未测试的模型
Goetia 26B-A4B v1.7、Gemma 4 26B-A4B StyleTune V2、Promethean Dawn 26B-A4B、Fenrir-X 26B-A4B。
如果你有 24GB 显存（例如 RTX 3090）？
想降档跑模型的话，可以试试：Omega Darker Gaslight The Final Forgotten Fever Dream 24B、Qwen3 24B-A4B Freedom HQ Thinking Heretic NeoMAX-D_AU、Cydonia 24B、Magistry 24B、Magnus Cydons 24B、Erebus 12B Instruct 2608、Mistral RP 24B、DeepSeek 33B、Velvet Eclipse 2x12B 或 Velvet Eclipse 4x12B。
附：评论区高赞精选（原帖共 78 条讨论）
- u/paq85（+187）：第一名 Qwen 3.8 27b。第二名？不用浪费时间了 😅
- u/ttkciar（+56）：我觉得帖子里有些错误（也许是幻觉？）。比如我找不到 Gemma-4-19B-A1B-it；我在 HF（Hugging Face）上找到最接近的是 https://huggingface.co/potto007/gemma-4-19B-A4B-text-REAP-GGUF 。如果有 19B-A1B，我很想试试。楼主能核实或修正一下吗？
- u/Manerfish（+34）：为什么榜单里有些老掉牙的模型和奇怪的微调版？甚至有一个是 DavidAU 的，笑死。
- u/Witty_Mycologist_995（+23）：想要写作/RP 微调模型的话，试试 Drummer 系列的，或者 StyleTune。
- u/pixelbart（+23）：8GB 显存用户哭了。
- u/AltruisticList6000（+9）：我猜你说的是写作、创意任务和角色扮演（RP）吧？Mistral Small 24b（或 22b）及其微调版不需要 24GB 显存。16GB 显存用户可以跑 Q4_K_S 或 IQ4_XS 量化，Q4 缓存下上下文约 48-50k 也能全显存放下，我用起来完全没问题。中大型 Q3 量化还能塞更多（较小的 Q3 量化说不定能挤进 12GB 显存，只是不知道对性能影响多大）。Mistral Small 22b 2409 即便不微调，做 RP 也很不错——默认就有更好/更自然的 Nemo 风格对话、更少 LLM 套话，同时更聪明/更稳定、非常有创意，且对 RP 无审查；它的 Cydonia 22b Redux 微调版，有人声称可以推过 32k 上下文，不像原版那样受限制。Cydonia 4.2 也支持高上下文，我实测 60k 没问题；4.3 在 40k 就崩了。
- u/rgldx（+2）：我需要 6-8GB 显存版的这种榜单。
- u/jacek2023（+2）：这是份好榜单，但远不够完整。你只列了几个微调版，其他几百个呢？没有 granite 模型、gpt-oss-20b 或 ernie；gemma “4” 12B 呢？为什么 3 会出现在榜单上？
- u/Glad-Tourist4510（+2）：我在小型 MoE 模型上的体验也类似——以它们的速度来说能力出奇地强，但长时间会话的一致性是我开始注意到问题的地方。
- u/starwaves1（+1）：Qwen3.8 27b 很出色。它只有约 12GB，能留出不错的上下文空间，性能也好得出乎意料。（这句是用打字机打的。）
- u/New_Guidance_191（+2）：我的配置是 16GB 显存 + 16GB 内存，有人配置类似吗？如果有的话，你们在 Hermes 或其他框架下用这套配置跑哪些本地模型效果好？
- u/exaknight21（+1）：这帖子有意思。我一直只用 unsloth，看来错过了不少好东西！