techNmak 分享 12.5K 星 GitHub 仓库：藏着一整套 LLM 工程课

这个 GitHub 仓库有 12.5K 星，本质上是一整套藏在代码库里的 LLM 工程课程。它从原始文本开始，用纯 PyTorch 搭建 Transformer，然后一路讲完预训练、监督微调、奖励建模、偏好优化和强化学习。

该仓库实现了：
→ 分词、注意力、Transformer 模块和预训练
→ 带 assistant-token 损失掩码的 SFT
→ 基于偏好对的 Bradley-Terry 奖励建模
→ 用于偏好优化的 DPO、ORPO 和 KTO
→ 带价值头和广义优势估计（GAE）的 PPO
→ 带组相对奖励和 GSM8K 评估的 GRPO

这些实现并非彼此孤立。后训练方法都围绕同一个底层 Transformer 构建，因此你可以观察每个阶段的训练目标、奖励计算和优化循环是如何变化的。

此外还有一个现代架构实现，涵盖 RoPE、RMSNorm、SwiGLU、GQA、MLA、可选的混合专家模型（MoE）和 KV 缓存。

该仓库甚至包含一个 36.9 万参数的模型，在作者的笔记本电脑 CPU 上用约 5 分钟在 TinyStories 数据集上训练完成，并配有一个从零构建的小型 BPE 分词器。这是一个小型的教学性预训练实验。更大的模型和完整的后训练流程需要相当多的计算资源。

所有内容都附带可运行的训练脚本、测试、评估工具、文档和一个 Streamlit 控制面板。完全开源。

这是 GitHub 仓库：