从头实现LLM架构的体会：模型比较与调试心得

@rasbt: 一个关于从零开始在Python和PyTorch中实现LLM架构可以学到什么的小讲座。以及我如何处理新的开源权重模型，将其与参考实现进行比较等等：https://t.co/crKd2l9xGg

@140ismymax 是的！想知道这种现象是否只发生在GQA:SWA模型中，还是也出现在例如MLA或Gated DeltaNet模型中。

@bygregorr 历史上，这个（以及归一化层）可能是我调试时间花得最多的地方。