开源推理引擎在 MacBook 上比 Ollama 快 2.7 倍

本地 LLM 推理的重大突破！这款开源引擎在 MacBook 上生成 token 的速度比 Ollama 快 2.7 倍：

我在基础款 M5 MacBook Pro 上用 Qwen3.5 4B（4 位量化）和相同的 9.2k token 提示词进行了测试。Ollama 运行的是其 MTP 版本，因此两者都具备投机解码功能。

- 预填充：Ollama 464 tok/s，Magnitude 755 tok/s（1.6 倍）
- 解码：Ollama 22.6 tok/s，Magnitude 60.0 tok/s（2.7 倍）
- 端到端，Magnitude 完成时间缩短一半

下面的视频并排展示了两次运行过程。

Ollama 的数据并不意味着它构建得不好。它的内核只是预先调优过的。内核是每个矩阵乘法和注意力步骤背后的小型 GPU 程序。它的速度取决于工作如何在 GPU 核心之间分配以及数据如何在内存中移动等选择。

最佳选择会随着每个芯片而变化。仅 Apple Silicon 就涵盖 8 到 80 个 GPU 核心，带宽从低于 70 GB/s 到超过 800 GB/s 不等，而且每个模型都有自己的层大小。预构建引擎必须为所有这些选择一组设置，因此大多数本地设置都在妥协中运行。

Magnitude 用在你的机器上进行调优来取代这种妥协：
↳ 下载模型时，它会在本地编译该模型的内核。
↳ 它尝试不同的内核配置，并保留在你的芯片上运行最快的配置。
↳ 它为每个模型搭配已找到的最快的投机解码草稿模型，因此模型的每次传递都会产生多个 token。

GitHub 仓库：（别忘了给它加星🌟）

这对智能体来说最为重要。每个文件和工具输出都必须在模型写入任何内容之前进行处理，而预填充步骤正是内核效率体现的地方。并发会话还共享前缀缓存，因此并行智能体不会相互拖慢速度。

Magnitude 是一个用 Rust 编写的开源（Apache 2.0）推理引擎。它可以一键接入 Claude Code、Codex、OpenCode、Pi 和其他智能体。我在上面分享了 GitHub 仓库。