2026年下半年，8GB显卡已经不再是本地跑大模型的门槛线。这一年来硬件门槛被拉低，主要有两个原因：一是量化技术成熟，4位量化几乎成了本地部署的默认选项；二是MoE（混合专家）架构普及，模型总参数虽然大，但每个token只激活一小部分，对显存的要求反而更低[4]。因此，近期的新进展大致可以分成两条线：一条是小参数模型本身越来越强，另一条是靠极端量化和卸载技巧，把原本跑不动的模型勉强塞进8GB。
先说小参数模型这条线。2026年8月发布的LFM2.5-2.6B参数只有2.6B，智能体表现却相当出色[2]；9月的MiniCPM5-2B发布时被称作端侧AI的新SOTA，对想本地部署端侧AI的人来说多了一个高性能选择[5]。8月的另一则消息提到，某小参数模型0731的性能已经追平GLM 5.2，体积却小了三倍，开发者还认为更小参数的Flash-next有望追上GLM 5.3[6]。这些模型基本都在8GB显存的舒适区内，是当前最稳妥的入门选择。Qwen 3.8系列发布时，社区也在等8B、9B这些小规格型号落地[9]。
真正让8GB显卡的适用范围明显扩大的，是三值量化。2026年9月，PrismML基于Qwen3.8-27B开发出三值模型Ternary Bonsai 2 27B，性能保留98.2%，部署仅需5.9GB显存[12]。也就是说，一个27B级别的模型现在可以装进8GB卡里，这在过去需要靠CPU卸载才能勉强实现。量化感知训练（QAT）也在帮忙，Gemma 4的移动专用格式把Gemma 4 E2B的内存占用压到了1GB，普通手机都装得下[4]。
MoE架构则从另一个方向降低了门槛。8月的一次实测中，Ling-3.0-tiny跑在了一块249美元的NVIDIA Jetson Orin Nano Super上，那是8GB统一内存的开发者套件。模型总参数7.9B，每个token只激活约1.4B，128个专家里每步只挑8个路由专家加1个共享专家。以IQ4_NL量化运行，模型、KV缓存和CUDA卸载全部塞进8GB统一内存，总占用7.4GiB，交换空间只用了约200MB；短上下文解码约33 token/s，提示处理220到760 token/s[10]。需要注意的是，它依赖llama.cpp的专门补丁，相关PR在2026年8月17日才合并进主分支[10]。
如果愿意接受速度上的妥协，卸载技巧能让8GB显卡碰到更大的模型。9月的一则实测里，作者用16GB显存加32GB DDR5内存，加载了约68.95GB的Qwen3.8-Flash-Next-REAP-320-GGUF。最省事的mmap模式实测只有约2 token/s，基本没用；换成--load-mode none直接占住内存、--lazy-mode on把N-gram嵌入留在SSD按需读取，再用--n-cpu-moe 34把34个专家层放到CPU上，剩下的39.42GB才塞进GPU和系统内存[8]。这套思路对8GB卡同样适用，只是能分给GPU的部分更少，速度会更紧张。更学术一点的方案是FreeToken系统，论文称一台8GB显存的笔记本能跑35B模型，但它明确不是明天就能装上的软件[11]。
也有必要划清边界。不是所有新模型都能靠技巧塞进8GB。10月底发布的Clover-35B-A3B-Preview虽然在开源扩散语言模型里拿到最好成绩，但需要约69GB显存，消费级显卡跑不动[13]；Mistral那款总参数1万亿、每次只激活490亿的Le Chonk，评论区有人问怎么塞进8GB内存的电脑，答案基本是消费级硬件指望不上[3]。另外社区反馈提到，Gemma 4 E4B这类小模型在16GB内存的笔记本上跑得不错，但在8GB上有些勉强[16]。
对刚开始入门的人来说，可以先按显存大小找到对应的部署路径，不同显存的消费级显卡都有成熟的参考路线[1]。也有观点认为，想学大模型的人最好自己本地部署一次，这是了解大模型本质最快的方法[15]。选型时优先看4位或更低比特的量化版本和低激活参数的MoE模型，再根据能接受的速度决定要不要上CPU、SSD卸载。