Tianhua Chen发布《The Little Book of Generative AI Foundations》电子书(195 页)

每天追 AI 新架构的人，其实都在看同一套数学的不同变体。

这哥们 Tianhua Chen 在 arXiv 上放了一本 195 页的书，《The Little Book of Generative AI Foundations》。 他干了一件特别解渴的事：跳过所有时髦的工程细节，只用一条连贯的数学推导，把生成式 AI 的几大主流家族全串了起来。

平时看论文，大家很容易觉得传统的 PCA 降维、画图的 Diffusion、还有聊天的大模型是八竿子打不着的物种。 但顺着这本书的脉络往下捋，底层的逻辑特别通透： 所有生成模型，从头到尾都在干同一件事——逼近真实世界的数据分布，然后从里面采样。

从最基础的 PCA 出发，加上概率假设变成概率 PCA，再把里面的线性映射换成神经网络，顺理成章就推导出 VAE（变分自编码器）。 把隐变量的转换拆成多步加噪和去噪，就长出了 Diffusion（扩散模型）。 换条路，直接用概率链式法则把联合分布拆成一步步的条件概率，就是今天大语言模型底层的自回归（Autoregressive）。 要是嫌直接算概率密度太难，或者归一化常数算不出来，就引出了 GAN、WGAN 和能量模型。

我觉得这种把“模型动物园”拍平到一条主线上的视角，价值太大了。 看懂了就会发现，每个新流派冒出来，其实都是为了解决上一个流派在算概率时撞上的死胡同。 这哥们在 v2 版本里还加了大量可视化解释，文件体积直接翻了近十倍，一边给直觉，一边把公式死磕到底。

当然，如果你只想调个 API 快速做个应用，啃这 195 页推导确实没必要。 但如果你想搞明白一类模型为什么会有天生的边界，看懂这条演化链，比刷一百篇新模型测评管用得多。

唯一让我有点绷不住的是，足足 195 页的硬核公式推导，书名居然叫《The Little Book》（小册子）。 搞数学的人对“小”大概有什么误解，我已经默默存进 iPad 了，争取下个月别让它沦为最硬核的赛博泡面盖。