入门LLM最简单的教程，从makemore开始不用先啃论文

这可能是入门LLM最简单的教程 翻看@karpathy 的“Zero to Hero”系列视频 才发现竟然有这个项目：makemore 你不需要一上来就啃《Attention is all you need》 那篇全是公式的论文 这里面没有任何 QKV，没有注意力，没有神经网络 就是一个纯统计的字符接龙 这个最开始的版本其实很简单，就是一个查表操作 比如你看了一堆名字 统计出 a 后面接 b 的概率是 30% 接 c 的概率是 20%这种表 生成新名字的时候，就照着这个表去抽奖 抽到哪个字母就接哪个 后面几步才慢慢加东西： 1. 把查表换成一个小神经网络 2. 让它自己学那些规律，而不是手动数 3. 再教它怎么训练得更稳、怎么防止过拟合 4. 然后让你手写反向传播，搞懂梯度到底怎么传的 5. 最后才引出类似 WaveNet 那种层次结构，为理解 Transformer 做铺垫 所以，如果你一直想搞懂 LLM 到底是怎么回事 但又不想一上来就被 Transformer 劝退 makemore 就是那个最好的起点 也可以为后续学习Transformer打下基础

配合2个小时讲解视频更好理解