AI Pulse
📡 X 信号

Strata 0.2.6 实测:16G 显卡本地跑 DeepSeek V4.1 速度翻倍

Strata 0.2.6 实测:16G 显卡本地跑 DeepSeek V4.1 速度翻倍

🚨卧槽Strata升级啦!DeepSeek V4.1-Flash-1017 在 Strata 0.2.6 上速度直接翻倍!

一张 16G 消费级显卡 + 大内存,本地跑 763B 参数模型,从“勉强能聊”变成“日常完全够用”。

实测对比(RTX 4080 Super 16G + 128G DDR4 · IQ2_XXS · 8K 上下文)
🔹生成速度:旧版约 10 t/s → 新版 16.7–22.7 t/s(翻倍以上)
🔹Prefill:旧版约 4 t/s → 新版 8–22 t/s
🔹显存占用 15.4G,缓存 853 个专家,内存约 107G,日常聊天流畅无压力

官方大内存优化(专家全载入 RAM)
🔹1× R9700 + 251GB:agent 解码 21.9 → 27.1 tok/s(+24%)
🔹4× R9700:agent 74.2 → 83.3 tok/s
🔹Faster 模式(5/6 专家)额外再快约 16%

模型本身 11 项基准全涨(DeepSWE 77.0 超 Opus 5、Terminal-Bench +11.1 等),输出更短,MIT 开源。

使用步骤:
1️⃣下载最新版:
2️⃣安装后运行 strata launch 或打开桌面 App,自动匹配引擎
3️⃣模型选择器选 DeepSeek V4.1-Flash-1017(推荐 IQ2_XXS 2.00 bpw)
4️⃣内存充足自动全载专家;低显存可开 Faster 模式,启动即用本地 API

一个版本速度翻倍,后面还值得期待 🫡

更新地址:
官方模型:
量化权重:

#DeepSeekV41Flash1017 #Strata #LocalLLM #本地部署 #MoE #开源AI #梁文峰 #梁圣

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新