Resin 让 AI 自动写推理引擎，GLM-5.3-Flash 跑出 6 万 tok/s

好的，我的个人项目终于有更多进展可以分享了！Resin 是一个用于构建快速 LLM 推理引擎的运行时。

其核心思路是让推理中所有通用部分都可复用，只把针对每种架构/硬件目标的模型专属前向传播和内核留给开发者编写。

要构建一个引擎：1. 导入 Resin 的核心库。2. 让智能体为你感兴趣的模型，针对你的特定硬件（GPU、TPU 或 AMD）编写前向传播，使用你想要的任何内核。然后，砰，你就拥有了一个独立的推理引擎。

过去一个月我一直在折腾这个项目（早期帖子：），最近这周受 DeepInfer 启发，我完成了很多功能和并行优化。

对于 DeepSeek-V4.1-Flash，它的速度几乎与 DeepInfer 相当（差距在 5-10% 以内），同时它是自包含的，支持其他模型，还具备指标监控、HTTP 服务器和前缀缓存功能。

昨天我写了一个用于模型创作的技能，让 Codex 通宵工作。这个智能体构建了一个带 MTP 的 GLM-5.3-Flash 引擎，在 B200（EP4）上实现了高达 60,000 输入 tok/s 和 16,000 输出 tok/s 的速度。

到目前为止，推理领域的“氛围编码”还不太可靠或成功。我认为这是因为人们每次都从零开始，在调度器和服务器层重新发明很多复杂的东西。

但有了共享核心，我们就可以自动化很多推理工作。难点在于编写快速的前向传播。但 Resin 只需导入一个库就能将其变成独立的引擎，这对 AI 来说就成了一个可验证的目标。

代码：