Meta发布《Breaking the Token Ceiling》论文(100,000)

Meta 发表了一篇论文，可能会终结当前的 LLM 时代。他们证明，我们可以彻底淘汰“分词器”，而且这样做实际上能让模型变得更强。

你今天使用的每一个 AI（ChatGPT、Claude、Gemini）读取文本的方式完全相同。它会把你的词语切成任意的小块，称为 token。它依赖一个庞大而臃肿的词汇表，包含约 10 万个特定小块，仅仅为了理解一句话。

我们曾以为这是构建 AI 的唯一方式。我们把它当作语言模型的根本速度上限。Meta 证明我们完全错了。

他们的新论文《打破 token 天花板》完全抛弃了 token。取而代之的是，他们让 AI 处理原始字节。词汇表只有 256 个值。结果改写了模型效率的规则。

通过在纯字节上训练并蒸馏知识，这些微型模型不仅存活了下来。它们实现了主导。Meta 蒸馏出的 10 亿参数字节模型，在下游任务上渐近式地超越了 Llama 3.2-1B 和 Gemma-3-1B 等最先进的 token 模型。

它们只使用一小部分词汇表。它们需要更少的数据。它们占用更少的存储空间。这迫使模型真正学习原始数据之间的基本关系，而不是依赖预先打包好的文本块。

对于任何构建、训练或部署 AI 的人来说，这都是一个巨大的转变。过去五年，我们痴迷于优化如何切碎文本以喂给这些模型。事实证明，瓶颈不在于模型的智能。而在于分词器。