每步只激活30亿参数，普通电脑也能跑340亿大模型

VIDRAFT 团队放出一个叫 VKUE 的引擎，能让 347 亿参数的推理模型 Ourbox-35B-JGOS 在没有显卡的 CPU 服务器上跑起来，速度大概每秒 17 个 token。同一份模型换个地方——8GB 显存的游戏本（RTX 5060）能到 20.01 tok/s；扔到数据中心 B200 上，聚合吞吐能干到 18,057 tok/s。

这个模型本身是稀疏 MoE 架构。总参数量 347 亿，每次推理只激活其中大概 30 亿参数。内部塞了 256 个专家，每次只挑最相关的 8 个，像一本厚书每次只翻几页，不用从头读到尾。这设计把每 token 的内存移动量从密集模型的约 16.7GB 降到约 1.45GB，少了 11 倍。

同样 8GB 笔记本上，Ourbox-35B 比同尺寸的密集模型 Qwen2.5-32B 快了 3.7 倍（20.01 vs 5.36 tok/s）。推理质量也没拉胯——GPQA Diamond 科学推理测试拿了 86.4%（maj@8）和 70.7%（greedy），跟当前顶级推理模型差不多。

所有测试用的都是同一份模型权重文件，只是跑在上面的硬件不同。权重用了 Q3_K_M 量化，所以单份文件能从低端 CPU 一路适配到高端显卡。团队还挂出了两个在线演示，一个让你对比 GPU 和 CPU 的效果，另一个纯 CPU 跑。

VKUE 是 VIDRAFT 的两条服务线之一，另一条叫 VKAE，追求速度。VKUE 的目标不是跑最快，而是让大模型落到那些摸不到云服务或 H100 的地方——主权私有化部署、边缘设备、公共部门。政府、医院、工厂这些不能把数据传上云的环境，现在可以在本地服务器上部署这套推理。

几个问题还没给答案：VKUE 是只针对 Ourbox-35B 优化，还是也能支持别的稀疏 MoE 模型；CPU 跑时的首 token 延迟是多少（17 tok/s 是吞吐量，交互式应用更关心头几十毫秒）；Q3_K_M 量化到底对精度有多少影响；以及这个方案会不会开源，用户能不能在自家硬件上复现。

AI 推理的门槛确实往下沉了。过去要数据中心显卡才能带的大模型，一台普通笔记本就能兜住，质量也没牺牲太多。