大模型现在最缺的，是像热力学那样的宏观变量

上一条发出之后，我和一位好朋友交流下，发现自己可能低估了现在AI的进度。

热力学是等来的状态变量， 蒸汽机造出来七十年，卡诺才写出那篇论文。

卡诺的关键动作是发现效率只依赖温度比，那个把 10²³ 个自由度压缩成两三个宏观量的坐标选择。

热力学之所以可能，前提是 (P, V, T) 这组变量在动力学下是闭合的。知道它们，就能预测它们的演化，不需要回到微观。

所以，亟待解决的门槛问题是： 大模型的状态变量是什么？

目前，我们手里只有 loss、参数量、数据量、计算量。这几个量，确实构成了一条封闭关系，即Scaling Law。但它们对推理、幻觉、上下文学习这些我之前列出的现象是不闭合的。

毕竟，我们现在根本无法从 (N, D, C) 预测某个能力何时出现。

我们缺理论家么？其实不算缺了。 我和她讨论后一致认为，我们缺的坐标系。

19 世纪的对应物是熵，但熵不是被观测到的，熵这个概念是被发明出来的，而且发明它，花了克劳修斯整整二十年。

Scaling Law 本身就是一条完整的宏观定律。 少数几个宏观量之间的幂律关系，且对微观细节（比如架构、优化器、数据配比这些）在很大范围内不敏感。

这是波义耳定律级别的东西，而且我们现在，已经有了几条从微观导出它的路径，比如数据流形内蕴维数的论证（指数 α ≈ 4/d）、把能力拆成离散量子的组合模型、随机矩阵谱的可解模型。

同时 ，Roberts & Yaida 那一路直接把深度网络写成以 depth、width 为小参数的有效场论展开，这在形式上已经是重整化群语言了，从这个意义上，影响巨大。

所以，AI 的现状更像是 1850 年前后，我们有了几条经验定律，有了熵的雏形，但还没有玻尔兹曼。

关于我在上一条提出的问题，我进行了两天的反思。因为我发现，把它们捆在一起要求同一个方程回答，风险是重演 19 世纪的活力论。

因为当时也有人想要一个同时解释热和生命的理论，那个愿望，本身就是错的。

“为什么规模产生涌现”：这是物理问题，很可能是相变、渗流类的数学，有希望。

“为什么微观参数形成宏观能力”：粗粒化问题，RG 是现成工具。

“为什么信息产生语义”：取决于语义的定义，分布式语义学或许有一个廉价答案（我记得，语义即使用中的位置），不过符号接地论者不接受这个答案。

“为什么物理过程产生意识”：目前看，这不是同一类问题。毕竟，一个宣称同时覆盖前五个和这一个的理论，我的先验是，它更可能是概念混乱，而非统一。

AI，缺的是数据的理论，不是模型的理论。

所有现有理论都把数据当成一个抽象分布 P(x)，然后研究模型。但 Scaling 有效、深度有用、涌现发生，很可能主要是数据的性质，但这并非模型的性质。

自然数据，是层级组合的、稀疏的、低内蕴维的。而梯度下降加深度架构恰好是这类结构的匹配滤波器。

其实我一直觉得，Poggio 的组合性定理、随机层级模型预测样本复杂度那一路，是最被低估的方向。

这条线之所以让我兴奋，是因为它和我之前那个更大的问题是对偶的。

我在上一条问道：为什么自然界能从简单规则里长出越来越高的层级？

而RG 的回答是因为绝大多数微观细节是无关算符，所以每一层尺度都存在自洽的有效理论。西蒙的近可分解性，说的是便是同一件事的工程版本。

学习之所以可能，正是因为世界是层级可分解的。在所有意义上，智能的理论永远是“为什么有效理论存在”这一问题的下游。

世界可被逐层压缩，所以逐层压缩器能在世界里工作。

相比于写出统一方程，我可以在此处给出一个可证伪的标准。在训练之前，我们可以试图从独立测量的数据统计量预测出 Scaling 指数和某个能力的出现阈值。

事后拟合不算。

这正是卡诺做到而他同代人做不到的事。我们不需要解释已有的机器，我们直接去寻找还没造出来的机器上限在哪。

至于涌现，其实它的突变性有相当一部分可能是度量选择的假象（据我所知，离散指标会把平滑的底层改进放大成阶跃）。

为一个测量伪影建理论，可以说是科学史上最常见的死法。这太冒进、太有风险了。

任何一个涌现理论，第一步必须先证明它要解释的那个跳变在连续指标下依然存在。