AI不再需要人类教它怎么断句了

打开任何一款主流大语言模型的后台，你都会看到一个被工程师们称为“Tokenizer”的中间层。它像一个固执的翻译官，先把人类写的句子切成固定大小的词块，再喂给模型。这个翻译官是人类手写的，带着几十年的历史包袱。

@_albertgu 认为：真正的智能应该来自简单通用的构建块，直接从原始数据中学习抽象概念——这正是Richard Sutton提出的“苦涩教训”。他认为，如果连从字节端到端学习都做不到，就更谈不上理解世界上其他更复杂的数据了。

Cartesia团队发布的H-Nets，正是朝着这个方向迈出的一步。它不再依赖Tokenizer，而是直接从原始字节中学习。根据实验数据，H-Nets在受控缩放定律实验中找到了3到5倍的效率提升，在更大规模上，用约10倍更少的数据和算力，就能匹配一个在11万亿token上训练的开源模型。

@NFT_Chen 认为：Karpathy曾说过，Transformer最丑陋的部分就是Tokenizer。如果AI连“直接从字节里自己发现什么是有意义的单位”都做不好，那谈什么理解图像、声音、真实世界。

字节级建模并不是全新的想法。CANINE、ByT5、Charformer都是这个方向的先驱。但过去的系统面临一个棘手的问题：没有了分词器，序列长度会膨胀3到10倍，计算成本高到难以承受。H-Nets的突破在于，它在数据规模扩展时表现优于采用BPE分词的当前最优Transformer，同时保持了字节级学习的优势。

这意味着什么？意味着未来的AI可能不再需要人类预先定义“什么是一个词”。它可以自己从原始数据中发现规律。对于普通使用者来说，这可能意味着更少的乱码、更少的误解，以及对非英语语言更好的支持。

但问题也随之而来：当AI不再需要人类教它怎么断句，我们还能理解它是怎么思考的吗？