AI Pulse
📡 X 信号

腾讯清华新AI模型CALM,推翻了现有大模型的底层逻辑

腾讯清华新AI模型CALM,推翻了现有大模型的底层逻辑

这可能就是AI下一个重大范式转移。中国研究者发表了一篇论文,彻底终结了「下一个token」范式。

你如今用到的每一个大语言模型,ChatGPT、Claude、Gemini,本质上都被一个瓶颈限制住了。它们生成文本的方式和人类在手机上打字完全一样:一次生成一个离散的token,逐词、逐步生成。

这种方式很慢,计算密度高,还会撞上无法突破的扩展墙。来自腾讯和清华大学的研究者发表论文,介绍了CALM(Continuous Autoregressive Language Models)。模型不再预测下一个token,而是预测下一个连续向量。

它的工作原理是这样的:研究者构建了一个高保真自编码器,可以将一整段token压缩为单个连续隐向量。AI能以超过99.9%的准确率重建出原始token。

Transformer不再逐符号生成文本,而是以连续的高带宽块生成语言。它大幅减少了生成步骤的数量。研究结果改写了性能-计算的权衡关系:
• 相比标准Transformer大幅降低计算成本和FLOPs
• 仅占用极小一部分硬件负载,就能匹配高性能离散模型的表现
• 在连续域建立了一套全新的无似然训练与评估框架

多年来我们一直默认,语言生成必须是「猜下一个词」的游戏。这篇论文证明事实并非如此。语言不再只是一串离散符号,它是一条连续流。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新