Kinetic 开源推理引擎：打字时就开始处理文档

这个新的推理引擎速度非常快。我要把它加入我的推理工具清单。你还在输入问题时，本地 AI 就已经可以开始读取你粘贴的文档了。

Kinetic 是一个用 Rust 编写的全新开源推理引擎。开发者在本地 AI 硬件上进行了测试 🎮 RTX 3060 笔记本 GPU（6GB 显存）🧠 Ryzen 5 6600H。粘贴一份 22,631 token 的文档并输入问题后，按下回车后的等待时间是……就绪 llama.cpp → 10.95 秒 Kinetic → 0.13 秒 👈 关键在于，Kinetic 会在你按下回车之前就开始处理。

它把工作转移到你本来就在打字的时间里。它单独进行的文件改写测试也很有意思。LFM3-1.7B，同样的 GPU 和 GGUF ⚡ llama.cpp → 229.7 tps 🚀 Kinetic → 1,033.7 tps 在编辑场景下快了 4.5 倍，因为投机解码可以利用重复文本。

这并不意味着日常聊天也能快 4.5 倍。Kinetic 还会复用之前的提示状态，避免重复处理同一段对话。统计信息 🔓 Apache 2.0 💾 加载支持的 GGUF 模型 🪟 Windows + Linux ⚙️ CPU、CUDA 和 Vulkan 🔌 兼容 OpenAI 的 API