学完GPT-2后别硬啃新论文，先补全大模型被替换的核心零件

学完GPT-2对应的Transformer基础后，很多人不知道该怎么继续深入学习大模型。@antiAIvo给出的建议是，先别急着读最新的大模型论文，先把GPT-2到今天主流大模型之间被替换掉的零件补一遍。

现代大模型的主体结构，仍然是你已经学过的那个Transformer，所有变化都集中在少数几个零件上。一个零件一个零件拆解学习，比一口气通读整篇论文容易得多。

他梳理的学习路线大致分为6类：第一类是归一化模块，从LayerNorm到RMSNorm，再到QK-Norm；第二类是位置编码，从绝对位置编码到RoPE旋转位置编码，再到长上下文扩展方案；第三类是前馈网络，从使用GELU激活的FFN到SwiGLU，再到MoE混合专家结构；第四类是注意力结构，从MHA多头注意力到GQA分组查询注意力，再到MLA多头潜在注意力；第五类是注意力计算优化，也就是FlashAttention，主要解决显存占用和计算速度的问题；第六类是注意力的新方向，包括滑动窗口注意力、线性注意力、混合结构，这部分技术还在快速迭代，现在判断哪些会成为主流还为时过早。

这些零件里，大部分都能在纸上手算一遍推导过程。他准备按这个顺序学习，一个零件一期更新下去。

选择这个路线学习，主要是因为直接训练大模型的过程太枯燥，和做测试工作的体验差不多。