我一直认为,智能应当源自简单、通用的构建模块,这些模块能直接从原始数据中学习抽象概念;换句话说,这就是“苦涩的教训”。我想我们终于看到了 AI 能够从所有数据中学习的真正一步。
对原始字节进行语言建模是这一理想的缩影,对我来说,这是 AI 的核心问题:如果我们无法构建能从字节端到端学习的大语言模型,我们又该如何处理世界上其余那些我们了解更少的数据呢?
去年,我们推出了分层网络(H-Nets)作为第一步。我们的新版本在受控缩放定律实验中实现了高达 3 到 5 倍的效率提升,并且在更大规模下,仅用约十分之一的数据和算力,就达到了一个在 11 万亿 token 上训练的开源模型的水平。
下面的帖子将详细介绍我们的发现,以及我们认为其有效的原因。