Meta逐字节小模型用六分之一数据，外推或超1B级Llama和Gemma

大语言模型的文本入口是词块。一个词块大约覆盖四五个字母，输入模型的是压缩后的编号，不是原始字符。Meta 把约 10 亿参数的小模型分成两组：一组继续用词块训练，另一组改成逐字母读原始字节。两组都用蒸馏，跟着教师模型 Llama 3 8B 学。

逐字读的第一步就卡在转换。教师按词块思考，学生按字节阅读，研究者得在两种表示之间做一次干净的翻译。

训练初期没有悬念。词块模型领先，差距明显。训练量上来后，情况换了：词块模型走平，字节模型还在往上爬。把趋势线接着外推，字节模型有机会超过 Llama 3.2 1B 和 Gemma 3 1B 几个百分点。这是外推，实验真正跑到的范围里，词块模型仍然领先。

字节模型最值钱的地方是数据效率：达到同样的水平，它需要的训练文本只有词块模型的六分之一。省了文本，费了计算——同一段文字，字节模型要跑约五倍的计算步骤。放到现实场景里，一个小模型以后也许能用更少数据练到同等水平。代价是跑起来更慢、更耗电。

逐字母读还可能减少一类低级错误：数错单词里的字母数。词块模型看到的是压缩过的编号，单词内部不透明；字节模型直接拿完整拼写。多语言也一样，字符级模型不依赖特定语言的词表，有评论认为多语言表现会提升，对非英语使用者影响更直接。

外界的评论不止一种声音。

有人说字节级词元化是五年前的旧科学，冗余。Meta 两年前发过 Byte Latent Transformers，方向相同，没获得广泛采用；有评论翻出旧账，说原作者也承认它扩展不上去。有人把账算了一遍：省到六分之一，计算多出五六倍，结果不惊人。

另一种看法是，字节模型的表现可能只是“思考更久”的副产品。它逐字读同一段内容，要经过更多中间步骤，多想的那几步本身就容易带来更好的结果。验证方法是把模型换成循环 Transformer，看差距是否还在。

推理成本也会上升，模型要一个字符一个字符把答案拼出来。不过有评论给了个解法：预测器继续用词块，配合 MTP 或 DSpark 这类多词预测手段，快速产出正确字符，成本压力能缓一些。

不止 Meta 一家在走这条路。Allen AI 最近的 Bolmo-7B 也被拎出来比较。更极端的个人实验是摩尔斯电码：有用户正在训练一个模型，把摩尔斯电码当中间表示，词表可以砍到约 6 个元素，省下约 3GB 的词表开销。还有评论设想，模型直接输出完整机器码，不写编程语言文本。写代码和用工具的方式都会变。

回到现状：token 没有消失。教师模型仍在用词块，字节学生是从词块老师那里学的。蒸馏时的转换会不会压住字节模型的上限，实验没交代。整个实验只覆盖约 10 亿参数的小模型，更大规模上能否成立，同样未知。