UC Berkeley、Google DeepMind 研究人员发布关于 LLM 内部几何形状成因的论文
乔姆斯基错了。加州大学伯克利分校和 Google DeepMind 的研究人员破解了 AI 领域最大的谜团之一。多年来,科学家们一直在 LLM 的“大脑”中发现不可能存在的几何形状。日历月份排列成真正的圆圈。历史年份弯曲成平滑的、波纹状的时间线。城市按照实际的经纬度二维地图进行组织。
所有人都认为这证明了大型 Transformer 模型是凭空自发发明了复杂的“世界模型”。他们错了。这篇论文证明,要实现这一切,你根本不需要大型 LLM。即使是像 word2vec 这样基础的、已有十年历史的词嵌入,也能产生完全相同的圆圈、时间线和地图。这种几何结构并非来自 AI 的架构。它来自人类语言本身隐藏的数学属性。
研究人员称之为平移对称性。在自然文本中,任意两个月份同时出现的频率几乎完全取决于它们之间的时间间隔。一月和二月之间的统计关系与七月和八月之间的统计关系相同。当神经网络在具有这种对称性的数据上进行训练时,数学规律会迫使它学习傅里叶表示,即真正的正弦和余弦波。那些圆圈?那是长波。研究人员在 AI 时间线上发现的奇怪“涟漪”?只是更高次的谐波。
最疯狂的部分来了。研究人员试图打破这种对称性。他们删除了训练数据中所有两个月份同时出现的句子。没有“一月”紧挨着“二月”。没有“三月”紧挨着“四月”。但圆圈依然形成了。为什么?因为这种几何结构是整个语言中的一种集体现象。即使两个月份在句子中从未同时出现,它们也会被与相同季节、天气和事件相关的数千个其他词语拉入同一轨道。人类语言的其余部分迫使这种形状存在。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖