AI Pulse
🔥 热点深度解读

LeCun再批大模型:堆参数不如学理解

打开AI对话框问一个常识问题,背后是数十亿参数在调用训练时记住的海量文本。Yann LeCun最近在X上指出,大语言模型(LLM)能回答大量问题,靠的就是这种对陈述性知识的积累,这也是它们需要海量参数和内存的根本原因。

他提出了另一条路径:用理解替代知识积累。JEPA(联合嵌入预测架构)就是这种思路的产物——通过学习数据的内在相似结构,而不是死记硬背所有内容,来实现对世界的建模。不同的JEPA系统有不同侧重,I-JEPA主要学习视觉表征,V-JEPA 2则可以预测世界的变化。

@ylecun 认为:JEPA世界模型可以用比LLMs少得多的内存和训练数据发挥作用,因为它的核心是理解而非记忆。

这不是LeCun第一次公开唱反调。自2022年起,他就反复强调AI行业痴迷于扩展LLMs的方向是错误的,认为当前整个领域陷入了基于文本的世界模拟,而非构建能够理解物理世界的系统。

@ylecun 还转发了Arjun Jain的一段反思:Jain提到自己在Vapnik学派(核方法、统计边界理论)的博士训练中,曾被教导认为神经网络是炼金术,LeCun是错的。这段被转发的文字,恰好折射出AI领域两条路线长期的对立。

这条推文获得了3883个赞、391次转发,浏览量超过34万,收藏数达到1797。在大模型参数竞赛愈演愈烈的当下,LeCun的声音依然能引发大量关注。

对普通使用者来说,这意味着什么?如果JEPA路线最终走通,未来的AI助手可能不需要动辄几百GB的内存,也不需要吃掉海量文本数据才能工作。它可能更像一个真正理解物理世界规律的伙伴,而不是一个读过整个图书馆的超级记忆体。

但问题依然悬而未决:理解和记忆之间,真的是非此即彼的替代关系吗?还是说,足够大的记忆本身就能涌现出某种理解?

📎 参考来源

查看原始推文

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新