16GB显存加55GB内存跑大模型，最高250 token/s

一块 16GB 显卡的测试数据

本地 AI 圈子里在传一组测试数据。方案叫 Strata/Basalt。它跑在 16GB 显存加 55GB 内存上，模型是 Qwen3.8 Flash Next 的 IQ3_S 量化版。生成速度最高 250 token/s，提示处理速度最高 5,600 token/s。

配置是 RTX 5080 16GB、Core Ultra 9 285K、62GB DDR5-6800 内存。上下文长度 262K，键值缓存 int8。模型权重被 IQ3_S 量化压缩后，主体放在系统内存里，显存负责加速推理。这台测试机给“显存不够大就玩不了大模型”的观点提供了一个反例。

实际会话里的表现

代理编码会话里，AI 通过 opencode 辅助写代码，一共发出 103 个请求。上下文最长 130K。平均提示处理速度 5,011 token/s，峰值 5,118；平均生成速度 153.0 token/s，峰值 262。显存占用 15.7GB，内存占用 54.1GB，余量 5.2GB。

另一轮测试把上下文从 15K 扫到 207K。平均提示处理速度 5,475 token/s，峰值 5,662；平均生成速度 154.9 token/s，峰值 186.6。

注意：这是每个请求的平均生成速度。每个请求 384 个 token，采样温度 0.7，每个上下文长度跑两轮。

有评论者直接问为什么能这么快。答案有两个来源。一个是量化：IQ3_S 把模型权重压到很低，模型体积够小，16GB 显存加 55GB 内存装得下。另一个是提示缓存：编码会话里 99.5% 的提示词命中了缓存，中位首次令牌时间只有 0.2 秒。重复内容不用重新算，响应自然快。

更高配置反而更慢

数据发出来后，最先疑惑的是配置更高的人。一位评论者说，自己双 RTX 3090 加 64GB 内存，只能跑到约 120 token/s，提示处理约 3,000 PP。另一位用改造过的 RTX 4080S——32GB 显存，配 96GB DDR4。他只有约 3,400 PP，生成速度 80-120 token/s。他不明白：AD103 和 GB103 架构接近，显存还是 5080 的两倍，没道理更慢。

同一个模型，显存只有一半的 5080 反而跑得更快。至少在这组测试里，软件层面的收益比堆硬件更明显。

兼容性还说不清

评论区的问题大多围绕兼容性。有人问是不是只支持 5xxx 系列显卡，有人问 Basalt 能不能处理并发请求。还有人关心 tailskip 用没用、DDR4 和 DDR5 差多少、Windows 11 能不能跑。一位拿 M5 Max 64GB 的人问自己能不能受益。另一个人想知道能不能挂第二块显卡。他已经在 Strata 里用一块 RTX A4000 当“专家缓存”，生成速度确实有提升。他还说：“终于有适合 16GB 显存显卡的东西了。”

这些问题目前都没有明确答案。

速度和质量之间的取舍

也有评论者带着嘲讽：做到这一切的代价，是把模型彻底“阉割”。IQ3_S 是低比特量化，精度会有损失。250 token/s 摆在那，但被压成这样，模型还剩多少智能，这组测试数据没有衡量。