📡 X 信号

Project Maya v1.1.28 让单张 RTX 3090 跑 748B 模型，解码提速约 2 倍

@NFT_Chen 3.7K 浏览 · 50 喜欢 · 8 转推 · 33 收藏本地大模型开源工具

🤯牛哇！一张英伟达 3090 也能跑748B DeepSeek-V4.1-Flash-1017！解码速度直接翻倍！

@PeasantSmith Project Maya v1.1.28 重磅更新：当RAM装得下experts时，单卡NVIDIA（Linux）解码最高提升约2倍！

实测（RTX 3090 24GB + Maya-XS）： 12.9 → 27.8 tok/s

优化亮点： 🔹Experts直接从RAM映射拉取到VRAM，零多余拷贝 🔹验证窗口流式处理 + 热点experts留VRAM 🔹完整1M上下文已支持 🔹长代码流式聊天更稳不跳

上手超简单（3步）： 1️⃣git clone && cd project-maya 2️⃣ ./maya.sh –setup –model DeepSeek-V4.1-Flash-1017 （选Maya-XS更省内存） 3️⃣打开 http://127.0.0.1:8080 直接聊！

支持NVIDIA/AMD、Linux/Windows，从一张卡到多卡都能跑。

GitHub： Quant： #DeepSeek #LocalAI #ProjectMaya #AI #GPU #OpenSource #本地大模型 #梁文峰 #单张显卡

订阅 AI Pulse