AI Pulse
📡 X 信号

Strata 开源项目发布Qwen3.8-Flash-Next 125B 大模型本地运行方案(12G)

Strata 开源项目发布Qwen3.8-Flash-Next 125B 大模型本地运行方案(12G)

🔥简直逆天!Qwen3.8-Flash-Next 125B大模型,现在能直接跑在你 12G 显卡的游戏电脑上了!

Strata 开源项目,上线仅17天,GitHub 已冲到20.8k Star,24h +1239,把这个 24576 专家的 MoE 模型塞进了普通消费级硬件。

核心亮点:
🔹仅需 12G 显存 + 32G 内存就能装(推荐 64G 跑满所有量化)
🔹RTX 5070 实测 Q2_0 达到 94 token/s(比阅读还快)
🔹24576 个专家按需调度:显卡只放常用热点,内存放全部,SSD 存查找表(原理像厨房,常用的放灶台边,其余存仓库按需取用)
🔹自带 OpenAI / Anthropic 兼容接口,Claude Code / Cursor 等直接连 localhost,数据完全本地

上手步骤:
1️⃣下载或 git clone
2️⃣Windows 双击 START-HERE.bat,Linux 运行 ./setup.sh
3️⃣按提示选模型(32G 内存选 Coder,48G+ 推荐 IQ2_XS,64G 可上 IQ3_S)
4️⃣等待下载(约70GB)和首次加载(1-3分钟可能短暂卡顿,正常)
5️⃣浏览器打开 http://127.0.0.1:8080 直接用,或把 API 地址填进你的工具

GitHub:
#AI #LocalLLM #Strata #Qwen #开源 #本地大模型 #游戏电脑跑大模型 #MoE #阿里巴巴

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新