科里·多克托罗:AI 的“幻觉”应叫错误,真正产生幻觉的是我们
Claude 错觉
成为无神论者后一个较少被提及的变化,是它如何改变你看日落的方式。如果你相信一位全能、无处不在的上帝,那么日落就是上帝有意的造物之一,这意味着那些在渐暗的天空中折射出的美丽色彩,是被精心选择来产生那种效果的。
带着宗教信仰凝视日落,是在遭遇另一个心灵的有意行为。不带信仰凝视同一场日落,则是看着某种惊心动魄、美丽却又空洞的东西;不是缺少惊奇或美,而是缺少目的。没有谁把那颗太阳挂上天空,没有谁在它沉落时挑选颜色。它也许依然美丽,但那是一种根本不同的美。
还有一种日落,介于宗教的日落与无神论的日落之间:艺术家笔下的日落。它代表着另一个人的选择、另一个心灵的选择,而且至少,那个心灵是在对自己说话,试图把内心深处的某种东西取出来,放到心灵之外。
很多时候,主导了这场日落捕捉的心灵想要对别人说些什么,甚至也许想对你说(想想爱人用手机给你发来一张日落的照片)。那幅画或那张照片也许并非神圣,但肯定是有意的。看着一幅日落绘画——甚至一张日落照片——就是看着某人选择去制作的东西。你不会失手意外创作出一幅日落绘画。日落绘画不是意外。那幅日落绘画有话要说。
揣测意图是我们心灵的条件反射式本能。它让我们不会在车流中丧命,让我们在扑克中获胜。它是爱与养育的关键,是高效管理和“向上管理”的关键。它是我们生别人气、又原谅别人的原因。它是我们与书中或屏幕上的角色共情时心跳加速的原因。它是我们遭遇一首诗、一首歌、一本书或一座雕塑时自动且不可抗拒的起点。它是一棵树的雕塑与一棵树之间最根本的区别:树是自己生长的,而雕塑是被另一个拥有另一颗心灵的人有意制作的。
这种把意图归因给事物的反射,解释了为什么AI如此充满争议、如此迷人、又如此令人不安。Mark Fisher 将“令人不安”(eeriness)定义为“当某个地方本应空无一物,却有什么东西存在;或者本应有什么东西存在,却空无一物”:[https://www.programmablemutter.com/p/large-language-models-are-uncanny0
看着一段AI生成的文字或图像,就是看着一个被挤压出来、而非被选择出来的东西。你可能会手滑,用提示词生成一幅日落图像,而它不体现任何人的意图。
对于这种情况,我们毫无经验可言。当我们看见一幅画,我们会反射性地解读为它有一个画家。当我们读一本书,我们会反射性地把作者意图归因于它的文字。当我们交谈时,我们会反射性地构建一个关于主导着对话另一端的心灵的理论。
但我们无法对AI这样做。任何理解我们眼下称之为“AI”的那种无理论的统计推断系统如何运作的人,都会明白它们是无法形成意图的系统,它们没有任何可以用来形成意图的东西:[https://pluralistic.net/2026/09/18/surprise/#wow-signal1
即便如此,我们很难(也许不可能)避免那种把意图归因于看似有意为之之物的反射。想想你在文学作品中遇到的虚构人物所引发的自动的、不可避免的情感反应。为虚构的人感到悲伤或喜悦是很奇怪的。他们不是真实的,你也知道他们不是真实的,然而你可能会被他们的困境感动得落泪。
文学带来的审美体验,是一种大家默认的取巧(hack),作用在我们那种将人类心灵归因于通常是人类意图产物之物的反射上。当我们体验到另一个人的意志——他们的言语或行为——我们会试图弄明白他们是谁、感受如何、以及为什么那样行事:[https://genius.com/David-byrne-and-ghost-train-orchestra-she-explains-things-to-me-lyrics2
即使我们只是面对他人言语或行为的证据,我们也会这样做,比如一位朋友描述与陌生人的遭遇。对于你那种条件反射式寻求意图的心灵来说,那位描述虚构人物事迹的作者,是一个不可抗拒的信号,促使你启动那台古老的共情机器,开始设身处地地把自己代入故事人物的皮囊:[https://locusmag.com/feature/cory-doctorow-stories-are-a-fuggly-hack/3
与AI“对话”,就是在与一个虚构人物进行对话,这个虚构人物并不比小说中的虚构人物更真实。事实上,聊天机器人比小说角色更不真实,因为角色是另一个心灵的产物,而聊天机器人的言语,是在一个包含人类说过的一切词语的庞大数据库上进行的复杂数学运算的产物,这些词语按彼此共现的频率排列。当那些数学产生了某种美丽或惊人的东西时,它就像日落:无论多么惊人,它都是空洞的。没有谁选择那些颜色。没有谁选择那些词语。
换句话说,当我们与AI互动时,我们产生了幻觉,幻觉出互动另一端的那个“人”。这些幻觉比任何AI生成的“幻觉”(更准确地说应该叫“错误”或“缺陷”)要普遍得多,后果也严重得多。
幸运的是,对我们大多数人来说,这些幻觉的强度会随时间消退,而随着强度下降,这些幻觉的性质也会改变。正如我们大多数人很容易将虚构文学人物的困境所唤起的情感搁置一边,认为其显著性和“真实感”不如我们对身边真人困境所感受到的情感,对我们大多数人来说,对AI生成材料的体验也已在反复接触中变得暗淡。
我第一次接触AI生成的文字和图像时,心中涌起惊奇,这种惊奇源于我心灵中知道这是数学运算产物的部分,与我心灵中坚持认为一幅画必须有画家、一段文字必须有作者、一场对话必须有对话者的部分之间的张力。回顾当时感受到的惊奇,我意识到它很大程度上源于输出质量相对于我对数学推导出的句子和图像能有多好的预期的优越程度。
那种体验的新奇感让我按曲线评分法给机器的输出打分:“令人惊奇的不是跳舞的熊跳得好,而是熊居然会跳舞。”但随着重复,刺激已经回归均值。这些输出缺乏质感,因而无法令人信服。AI生成的散文和媒介内容的平滑,使其变得难以忍受地平庸。这是套路货。
就AI仍然让我感到惊讶的程度上来说,这种惊讶在于我们的现实世界中有多少平滑性。AI能够用统计预测来回答问题或进行对话,这一事实告诉了我们一些关于现实世界有多规律的重要信息。它并不证明统计预测就是理解:[https://pluralistic.net/2026/09/18/surprise/#wow-signal4
当然,你对一个主题了解得越多,AI的回答就越不令人信服。成为专家,就是了解你所从事领域的纹理:厨师能尝出一撮香料,画家能注意到笔触,舞者能把编舞分解成单个动作。
前几天,有人向我惊叹他用AI给自己的散文获得的编辑反馈的质量,说一句“告诉我我遗漏了什么”的提示,就能生成“会让布置了论文的大学教授都兴奋起来”的建议。作为一个教过很多写作者、给过很多反馈的人,我认为那家伙严重高估了一位大学教授看到他得到的AI生成反馈时会多么兴奋。
事实是,非专业写作者大多会在写作中犯同样类型的错误,而大多数写作教学,就是给犯着同类初级错误的写作者提供重复的、近乎相同的建议——这些错误,他们的同侪过去犯过,现在正在犯,将来也会犯。
掌握好写作的基础,靠的是练习和反馈,而其中大部分反馈都是机械重复的。是什么造就了伟大的写作教师——又是什么帮助造就了伟大的作家——是发现学生作品中那些可以被培养成独特而有力声音的非标准之处。任何人都能帮助你把成为更好写作者的那些平滑部分做好。只有好教师才能帮助你找到并打磨那种让你成为独特写作者的纹理。
那种纹理在初学者作品中尤其难以找到,因为初学者作品大多充满完全普通的、源于经验不足的错误,而这些错误是AI在挤压文字时能够可靠避免的。但AI生成的散文没有任何那些独特性的微量元素,它也无法发现它们。这些痕迹存在于小数点后极远的位置,以至于AI在开始做计算之前,总是先把它们舍入掉了。
我们越是接触到那些磨平了我们所熟悉的纹理的AI,就越不倾向于幻觉出意图,它们也就越不令人不安。我们大多数人正在缓慢而坚定地成为AI无神论者,那些日落看起来更像是无意图的物理产物,而非心灵的刻意产物。
这种AI无神论有两个巨大的障碍。第一:对我们大多数人来说,无法理解不熟悉的活动在其各个部分包含了何种意图,这让我们很容易假设:任何时候我们在世界上看到某项任务被完成,它必然是有意的,因此必然有一个意图者。换句话说:我们大多数人不去混黑客大会,所以我们很难理解“没有黑客的黑客行为”这种观念:[https://pluralistic.net/2026/09/12/god-in-the-box/#llms-are-fake5
但还有第二个障碍,让人类中一小部分但很重要的人难以理解聊天机器人不是人:那些认为几乎所有人都不是真实的人的亿万富翁。这些唯我论者认为聊天机器人等同于(甚至优于)人类,因为他们同样不认为大多数人类是完整的人:[https://pluralistic.net/2026/05/13/vibe-governance/#k-hole6
在我们物种几乎全部的历史中,似乎需要意图的事物总是有一个意图者。在许多时代和地方(甚至现在,对许多人来说),把自然世界视为具有某种形式的人格和意图、因此值得道德关怀,是自然而有益的运作方式。“自然权利”运动通过将人格延伸到动物和生态系统,取得了巨大进展。
但把人格归于聊天机器人,与把人格归于自然完全不同。事实上,它与“自然权利”根本不相容。想想“公司人格”(corporate personhood)这个可憎之物:通过将人格延伸到这种人类构造物,我们创造了一个人造生命形式——有限责任公司——能够摧毁自然、驱使动物灭绝的世界。如果我们把人格延伸到这些撕裂气候、狂饮水源的AI模型,它们的人格将要求牺牲动物、自然界和我们自己的福祉:[https://pluralistic.net/2026/04/15/artificial-lifeforms/#moral-consideration7
聊天机器人是数学的奇迹,这就足够了。它们不需要成为人。把它们误认为人(甚至只是像对待人一样对待它们),会让我们无法区分它们能做的有用之事,与它们如此倾向于向世界排放的浪费、丑陋和错误。
我认为,用我们目前称之为“AI”的技术,不可能建造出一个不“产生幻觉”的聊天机器人。然而,停止我们对AI的幻觉,既是可能的,也是必要的。