AI Pulse

0.8B模型纯汇编单线程跑,6.51 token/秒快过Transformers

作者在AMD EPYC 7B12服务器CPU上,用单线程跑起了Qwen3.5-0.8B。分词、模型推理、采样,全部由汇编代码完成。运行时不需要libc,也不需要Python——Python只在构建阶段用来准备分词器表。代码开源在GitHub(https://github.com/suayptalha/qwen3_5-assembly),作者在X上也发了帖子。

速度6.51 tokens/秒。同一个模型走Transformers参考实现,4.34 tokens/秒。测试条件是19个输入token、贪心解码、跑两次,两次生成的32个token完全一致。

但这个差距不能直接算成“汇编比PyTorch快”。两边的条件不对等:汇编直接读取BF16权重,Transformers把权重加载成FP32,还用了PyTorch回退内核。数值精度和内核路径都不一样。速度差里有多少来自汇编本身,多少来自这些设置,帖子没给。同等精度、同等内核条件下还剩多少优势,不清楚。

有一点被验证了:完整推理流程对软件环境的依赖可以很低。没有Python运行时,没有libc,没有现成框架,从分词到采样照样能走完。小模型、单线程、单台服务器CPU,这个组合跑得起来。

剩下的空白也很清楚。批量推理、更长上下文、更大模型、其他架构,都还没有数据。内存占用、功耗、构建复杂度,帖子里也没提。单线程6.51 tokens/秒在实际对话里够不够用,同样没有结论。

代码开源,运行时零依赖,别人能复现,也能接着改。作者是否继续优化、是否扩展到其他模型,没有说明。帖子8条讨论,最高票(+6)说这写在简历上会很好看,接着追问:手写汇编相比让一个好编译器去优化,现在还有优势吗。讨论先落在值不值得上,没落在能不能用。

关键事实

阅读原文
📚 相关主题 开源工程

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新