开发者周末从零实现通义千问Qwen3-0.6B全栈模拟，支持CPU运行

大语言模型是如何在硬件上运行的？如果你熟悉以CPU为核心的编程，大语言模型会让你觉得像魔法一样神奇。

这是因为大语言模型结合了深度神经网络和Transformer架构，它们运行在大规模并行处理器——GPU上。此外，虽然你只用几百行Python代码就能写出一个大语言模型，但它会调用庞大复杂的软件层，单个开发者很难完全掌握。

为了弄明白这个问题，我在周末从零实现了Qwen3-0.6B模型，从Transformer到ISA模拟器都自己做了，过程中得到了Claude Code的帮助。也就是说，我实现了模型本身、GPU指令集、编译器和GPU模拟器，把每一层都做的足够小巧，方便单个开发者深入理解每个部分。

我还在开发这款GPU的RTL，未来可以把整个系统跑在FPGA上，甚至可能哪天就流片做成实体芯片，纯粹是为了好玩。

这个项目有意思的地方在于，你可以像用Claude或者Codex那样用它，但它跑在CPU上，因此完全可以调试和跟踪。如果你一直搞不懂大语言模型和它们所运行的GPU之间的关联，可以去GitHub仓库看看：

我不知道译文准确不准确，如果我的回答说不通还请提前原谅。

据我所知，Qwen3-0.6B和更大的模型一样，都在语料上做了预训练，并且是从大模型蒸馏而来，Qwen3系列模型是统一架构的。因此，你从小模型执行方式上学到的东西，完全可以推广到大模型上。