面向新手的从零手写GPT-2大模型的学习路线

如何从零手写一个大模型？ 也适合新手LLM入门的学习路径。

我的实践路线是（GPT-2）：

1. 分词器/字节对编码： Tokenizer / BPE
2. 词嵌入： Embedding
3. 位置编码 ：Positional Encoding
4. 自注意力（单头）： Self-Attention
5. 多头注意力 ：Multi-Head Attention
6. 残差连接 ：Residual Connection
7. 层归一化（独立篇）： LayerNorm
8. 前馈网络 ：Feed-Forward Network (FFN)
9. Transformer块（组装Attention+FFN+残差+LN，堆叠12层）：Transformer Block
10. 输出层（最终LayerNorm+线性层+Softmax）：Output Layer
11. 加载预训练GPT-2权重：Load Pretrained GPT-2 Weights
12. 推理/文本生成 ：Inference / Text Generation

一共12期，从零到能跑起来生成文本，完整覆盖GPT-2架构。