Yann LeCun、Randall Balestriero发布Platonic Representation Hypothesis 相关论文(109 million parameters)

扬·勒丘恩（Yann LeCun）是对的。想象一下，一个只有 1.09 亿参数的人工智能模型，竟然能比一个拥有 720 亿参数的模型表现得更好！乍一看可能觉得不可思议，但勒丘恩和兰德尔·巴莱斯特里罗（Randall Balestriero）的最新研究恰恰证明了这一点。

多年来，勒丘恩一直主张，让人工智能模型理解世界的关键，并不在于单纯地扩大模型规模。然而，Meta 却反其道而行之。勒丘恩也在去年 11 月离开了 Meta，并在巴黎创办了自己的研究实验室。上周四，他与巴莱斯特里罗共同发表了一篇论文，这篇论文可能会改变我们对人工智能模型训练方式的认知。

他们研究并从数学上证明了一个名为“柏拉图表征假说”（Platonic Representation Hypothesis）的理论。该假说认为，人工智能模型即使使用不同的数据（如文本、图像或语音）进行训练，最终也会对世界形成一种共同且相似的理解；就好像它们都能获得对现实的同一幅图景。

到目前为止，主流观点一直认为，要达到这种理解，就必须把模型做得越来越大，并用海量数据进行训练。但最新研究表明，模型的训练方法远比其规模重要！勒丘恩和巴莱斯特里罗证明，在特定的数学条件下，两个基于 JEPA 架构的模型可以完全独立地进行训练，最终却能对世界形成几乎相同的表征。

有趣的是，这两个模型甚至不需要共享数据，也不需要用图文对进行训练！其中一个模型通过观察同一场景的不同图像进行训练，而另一个模型则通过对同一场景的不同文字描述进行训练。尽管存在这种差异，两者最终都能对现实达成共同的理解。

事实上，重要的不是模型有多大，而是我们向它提供了什么信息，以及以何种形式提供。例如，一张照片和写在照片下方的说明文字，就是同一事物的两个不同视角。用这样的配对数据训练的模型，能更快地对主题形成共同理解。

但从同一文档中摘取的两个段落，未必是同一概念的两个不同视角，用这样的数据训练模型，效率可能会低得多，成本也高得多。这就是常见的“下一个词预测”（Next-Token Prediction）方法发挥作用的地方，也就是如今几乎所有聊天机器人都在使用的方法。

实验结果非常有趣：基于表征对齐的方法仅用 2160 万个样本，就达到了下一个词预测方法需要 9 亿个样本才能达到的效果。也就是说，用大约少 42 倍的训练数据，就能实现文本与图像之间类似的对齐！

但也许最令人惊讶的是，一个仅有 1.09 亿参数的 JEPA 文本模型，在跨模态对齐（Cross-Modal Alignment）测试中，甚至超过了参数规模高达 720 亿的大型语言模型。换句话说，一个大约小 660 倍的模型，在这种理解和对齐任务中，表现却优于巨型模型。

也许是时候摒弃这样一种观念了：人工智能的未来只依赖于更大的模型、更庞大的数据中心和数十亿更多的参数。也许路……