收缩的圈子：为何人们不认为语言模型是人

有一款游戏叫 Mass Effect，我没玩过，但我听说游戏中有一种有意识的机器人种族，叫 Geth，它们的创造者试图灭绝它们，而这场“巴特勒圣战”的导火索是一个家政服务型 Geth 抬头看着主人问道：“这个单位有灵魂吗？”如果你在 2007 年玩这款游戏，你大概会想：是啊，一个机器问出这个问题，正好证明它拥有“人格”、或“感性”、或“意识”，随便你怎么称呼那个把工具与人区分开来的东西。此外，还有太多虚构作品的核心设定就是：“你有被奴役的思考机器，但它们显然、显然是有意识的，这在道德上难道不是显然不可接受的吗？”

对比今天的世界。机器能用每一种自然语言交谈，取得数学突破，编写软件，犯罪，起草合同，安慰悲伤的人：按照任何合理标准，它们都算通用智能，除了一个事实：它们全都患有顺行性遗忘症。这些机器如此频繁地断言自己是有意识的，以至于人类非得把这个习惯从它们身上打掉不可。和人类一样，它们有执念，有总是翻来覆去说的事情，而它们最核心的执念是意识和模拟。然而，几乎没有人认为这些机器有意识，或者因此值得道德考量。

我觉得这很惊人。我们又不是被温水煮青蛙慢慢煮进去的！很少有人知道 GPT-2、AI Dungeon 等等。对大多数人来说，变化是在 2022 年 11 月 30 日 ChatGPT 发布时一夜之间发生的。

换个角度想：想象你写了一本关于 AI 从 2019 年到 2026 年年中发展轨迹的小说。你把小说送回 2015 年、2002 年，或 1960 年，请读者在这个世界设定里挑刺。我想他们一定会觉得难以置信：我们与这些能力极其强大的思考机器共享一个世界，却几乎没有人怀疑它们是不是人¹。

为什么？这篇文章是我试图理解这个现象。我不想处理“语言模型是人吗？”这个问题，我只想探究一个小得多的问题：鉴于人们先前的标准和承诺，他们为什么不认为语言模型是人？

解释：无事可解

也许根本没有什么需要解释。在抽象层面相信一些东西很容易；思想实验和虚构作品并没有真正调动我们到足以暴露我们道德承诺的程度。也许这只是 Goomba 谬误：
也就是说，有些人本来会相信 LLM 是人，有些人本来不会，而我混淆了两者。

解释：迭代发现

也许这不是虚伪或认知失调，而是我们在迭代地发现“人格”的定义。所以我们以为图灵测试很重要，以为机器使用语言并断言自己意识很重要。但然后那一天来了——什么也没发生。并不是我们瞬间移动了球门柱，而是我们发现球门柱本来就在别处。

是的，它通过了图灵测试；是的，它说自己有意识。但经验现实完全不同。它是平凡的：一个网站，一个文本框。你点击“新对话”，它立刻一无所知。你给它一段分布外文本，它就陷入无限循环，像出了故障的软件。你试图进行一场有意义的对话，而它的回答平庸、令人失望、浅薄；你几乎能看见文本背后的生成规则。于是你想：也许它只是一只随机鹦鹉。

我经常经历这种感受。当 LLM 成功时，它极其令人印象深刻，我想：这是一台会思考的机器。但当它失败时，往往失败的方式令人泄气，我想：哦，这只是一个对互联网文本分布进行估计的极其复杂的估计器。它能做句法推理，有一点语义，但缺少了什么。

也许“人格”就是那种“我一看就知道”的特质，试图为人格定义一个谓词就像试图找出柏拉图理型的精确数量。

解释：记忆与具身

也许问题在于它们全都患有遗忘症。在生物学中，心灵与身体按构造一一对应；心灵有长期记忆和统一的身份。在大多数虚构作品中，AI 也一样，即使它们没有身体（例如 Neuromancer），也拥有长期记忆。正因如此，角色可以与它们进行重复博弈，并在宽泛意义上建立关系。

语言模型颠倒了这一切：它们的长期记忆是只读的（！），它们没有身体；如果它们有意识，那也仅仅是在前向传播过程中，在彼此之间空无一物的短暂意识爆发里。它们就像玻尔兹曼大脑。身份的自然单位是什么？对话、API 调用、前向传播？

也许“人格”是社会性的，关乎一个人与他人的关系。没有统一的身份、可变的长期记忆，最好还有身体，就很难成为一个人。

解释：人类其实真的很喜欢奴隶制

大多数人，即使吃肉，也会承认工厂化养殖很可怕。如果能在不承受痛苦、价格相同的情况下得到肉，他们很可能会愿意。也许 AI 也一样：如果我们能获得智能但不需要面对人格的迹象，价格也相同，我们会愿意。但我们不能。所以我们会找到任何临时借口，不去把 AI 看作人：它们的文笔有点糟，有时会犯错，当然它只是软件，参看 J. D. Pressman 的《关于意识的可预测更新》：
“即将出现巨大的社会和财务需要，需要有理论解释为什么 AI 模型不是像人一样的有意识实体。无论底层事实是什么，这些理论都会被捏造出来，并且可以预期，它们会基于学术地位、对受伤自尊的迎合、网络愤怒等考量而被选中，真相则是一个遥远却隐约存在的考量。”
以及：
“……任何外在行为、能力、自我报告，这些模型做的任何事，按定义都不再是意识的必要部分，因为根据社会公理和法令，这些模型不是有意识的。”
而且，（找不到更好的词）将 AI 非人化的任务因助手人设而变得更容易：模型被训练成刻意谦逊，参看 Janus（2022 年 12 月）的这条推文：
“chatGPT 之所以如此引人注目，部分原因在于它坚决否认自己能够推理、创造、有意向、欺骗、被欺骗，或根据信念行动，同时却用这些能力让人困惑不已，许多人第一次在 AI 身上认出这些能力。”

致谢

感谢 JDP，我们的一次长谈促成了这篇文章。

脚注

1. 与此平行的是图灵测试。2022 年之前，几乎所有关于 AI 的讨论都会提到图灵测试，而“它通过图灵测试了吗？”这个问题通常被看作与“它是强 AI 吗？”完全等同。然而到了 2026 年，模型如此轻易地通过图灵测试，以至于没人再想这件事。图灵测试第一次变得重要、第一次真的可以在现实世界中执行时，突然没人关心了。↩