Magnitude 开源推理引擎，跑开源模型比 Ollama 快两倍多

我们让开源模型的运行速度比 Ollama 快 2 倍以上，且无需任何新硬件。

隆重推出 Magnitude，这是一款开源推理引擎，能让开源模型在你的硬件条件下跑出最快速度。它会在你的机器上自动调优内核，找到运行每个模型的最快方式。支持 Apple Silicon、NVIDIA、AMD，甚至纯 CPU。

在 11 款热门本地模型上的平均表现：
Mac M4 Pro 对比 Ollama (MLX)：预填充速度快 1.32 倍，解码速度快 2.19 倍
DGX Spark 对比 Ollama (llama.cpp)：预填充速度快 1.34 倍，解码速度快 2.17 倍

Ollama、LM Studio 和 llama.cpp 都采用通用内核，因为手动为每款芯片调优每个模型会耗费大量时间。Magnitude 则自动完成调优。

当你下载一个模型时，它会在你的实际芯片上花费最多一分钟，尝试不同的数学拆分方式（多少个 GPU 线程协同工作、每个线程处理多大的数据块、提前加载多少数据），并保留不改变模型输出的最快组合。每个模型还搭配了最佳的推测解码草稿模型，以进一步提升速度。

一键即可将 Magnitude 连接到你已在使用的智能体（Pi、OpenCode、Hermes、Codex 等）。它也是专为智能体设计的：
• 得益于量化 KV 缓存，每个智能体仅占用约一半内存
• 内存会随你的会话动态伸缩，确保电脑始终流畅可用
• 智能体共享前缀缓存，因此多个智能体可同时运行而不会降低速度

接下来，我们致力于进一步挖掘你的硬件潜力：
• 从 RAM 或磁盘进行专家流式传输，以运行超出 GPU 容量的模型
• 将一个模型拆分到你的所有 GPU 和 CPU 上，确保无设备闲置
• 注意力剪枝，跳过低影响的计算，大幅提升预填充速度

提供 Mac、Windows 和 Linux 桌面应用程序。
100% 免费且开源。
下载
GitHub