你让AI思考，但它一半参数只用来认字和说话

以GPT-2小模型为例，它共有1.63亿参数。仅嵌入层和输出头就占了7700万——接近一半。这两个组件本质上是两个768×50257的矩阵，每个都超过3800万参数。所以模型大部分参数花在理解词汇和生成输出上，而不是你想象中的“推理”。

学LLM时很多人的第一反应是注意力机制，但它容易被高估，小模型里尤其明显。实际上，前馈网络（FFN）的参数数量大约是注意力层的两倍。模型的大部分计算和存储消耗在FFN上，而非注意力机制本身。

这个比例在不同规模模型里差异很大。当词表变得非常大时（现代模型常有数十万词），可以创建几乎完全由嵌入层和输出头组成的“微小”模型——词汇开销的比例会进一步攀升。对于小模型，要提升性能，或许更值得优化词汇表示，而不是堆叠更多的Transformer层。

OpenAI发布GPT 5.6后，其“Sol”变体配合Codex生成了一款参数可视化工具。该工具可以展示不同规模GPT-2模型中嵌入层、注意力、FFN和输出头的参数分布，还支持自定义设置（权重绑定、QKV偏置等）。通过它可以看到：模型大小与智能程度并非简单正比——增加词表会大幅增加参数，但未必提升推理能力。