你今天在用的AI，核心源自2014年实习生的一个习惯

2014年，23岁的Dzmitry Bahdanau在蒙特利尔大学实习。这个白俄罗斯小伙子接到的任务是：让计算机把英语句子翻译成法语。

当时神经网络翻译的效果一般，句子越长表现越差。原因在于研究者先把整句话的数据压缩进一块固定大小的内存，再到目标语言里解码。句子一长，内存装不下，细节就丢了。

Bahdanau想起学英语时做翻译练习的习惯。那时每写下一个词，他都要在原文里来回扫视，找到对应的部分。他把这个过程做成了神经机制。翻译时，模型不必把整句话塞进固定空间，只需回看原文里跟当前用词相关的部分。

一个实习生的灵感

这套机制后来被称为“注意力”。训练好的权重会把每个词的数学表示变成三个新向量——查询、键、值。这三个向量在注意力计算里各有用途。一个词可以借此判断当下该把重点放在句子的哪一部分。

指代是它最直观的考验。“那个动物没有过马路，因为它太累了”“那个动物没有过马路，因为它太宽了”。翻成法语时，模型得判断“它”指动物还是街道，两种选择的选词完全不同。没人告诉模型动物会累、街道可以很宽，这些关联是它从海量英法对照文本里学出来的。

有了注意力，神经网络翻译长句和短句一样好。这正是这套方法能走向规模化的基础。

从注意力到Transformer

2017年，谷歌团队提出Transformer架构，把注意力方法推到极致。其他组件全被拆掉了。论文标题就叫《注意力就是你所需要的一切》。论文被引用超过25万次，是AI领域的里程碑。后来出现的ChatGPT、Claude等大语言模型，全都沿用这个架构。

预测下一个词，为什么如此关键

大模型的训练目标可以归结为一件事：预测下一个词。但研究者怀疑，这个任务难到被称为“AI完备”——做成它，约等于做成通用AI。要在句子里正确填空，模型得会翻译、会算术，还得掌握事实知识。

不过，认知科学研究显示，人类思维不只是语言性的。语言是我们交流世界的工具。但思维还会动用感觉印象、身体经验、社会经历、记忆，还有一部分推理能力在大脑的语言网络之外运行。

当前这套基于注意力的框架还有一块短板：效率。AI研究者Llion Jones并不乐观：“现在这套做法解决不了这个问题，似乎必须跳到某个非常、非常不同的东西上去。”