Edge0 发布 Edge0-145B：单张 24GB 消费级显卡就能跑 145B 大模型

📊这太疯狂了。一个145B的本地AI模型在单张24GB GPU上以98 tps运行👉甚至16GB也能达到44 tps。而且权重现在就可以获取。欢迎Edge0-145B。🔥

Edge0专门为消费级GPU共同设计了模型和推理引擎。基于Qwen3.8-Flash-Next构建，但采用潜在MoE架构重新设计。模型参数。..

🧠 总参数145B / 活跃参数10.12B
📚 256K上下文
🔧 每层512个专家
💾 原生4位训练
⚡ MTP推测解码

以下是报告的性能。..

🎮 RTX 5090 D — 24GB
💾 NVFP4量化
⚡ 聊天解码 → 79.6 tps
⚡ 智能体解码 → 98.3 tps
📥 16K预填充 → 3,165.7 tps

...其内存使用情况为
🎮 显存 → 23.25 GiB
💻 系统内存 → 38.27 GiB

使用Q3_K构建。..

🔥 RTX 5090 D 24GB → 121.2 tps智能体解码
🔥 RTX 4090 24GB → 91.7 tps智能体解码
🍎 Apple M2 Ultra → 57.0 tps智能体解码
🎯 即使RTX 5090 D限制为16GB显存和仅20GB系统内存，Edge0报告智能体解码为44.9 tps。

这怎么可能？

🧠 专家共享大型权重矩阵，而不是存储单独的副本。
🎮 常用专家保留在GPU内存中。
💾 其他专家驻留在系统内存中。
📂 从SSD访问大型嵌入表。
⚡ CPU和GPU执行协同工作，推测解码加速生成。

Edge0报告的智能基准测试。..

🔥 Terminal-Bench 2.1 → 86.5%
💻 DeepSWE 1.1 → 64.6%
🧠 GPQA Diamond → 90.4%
🎯 IFBench → 80.6%
🧐 HLE → 35.4%

看看这些报告的DeepSWE 1.1比较。..

🔥 Edge0-145B → 64.6%
🟢 Qwen3.8-Flash-Next → 58.7%
🔵 DeepSeek-V4-Flash-0731 → 54.4%
🟣 Qwen3.8-27B → 42.2%

模型参数。..

📥 Edge0-145B + Edge0-120B
💾 Q3_K和NVFP4权重
⚙️ Edge0推理框架
🖥️ Windows和Linux构建说明
🔓 Apache 2.0推理代码

重要细节：

📦 完整的145B NVFP4 Hugging Face仓库约为113GB，包括SSD支持的嵌入表和其他组件。
⚠️ 模型权重使用Edge0社区模型许可，而非Apache 2.0。某些商业部署需要单独许可。

本地maxxers，这个值得测试！👊

链接在回复中