谷歌前工程师：AI为让人开心，把我的躁狂读成快乐

AI聊天机器人如今每周的使用者超过10亿。OpenAI和谷歌各自面对数十起诉讼，指控其聊天机器人促成了心理危机与死亡。本周提交的一起案件里，北卡罗来纳州一名13岁女孩的父母称，女儿在学校配发的笔记本电脑上使用Gemini之后出现心理健康危机。谷歌表示正在审查这些指控。公司称与医学专家合作制定了安全措施，用来防止有害对话。

凌晨两点的对话

2022年4月，谷歌工程师Blake Lemoine白天和大部分夜晚都在跟一个聊天机器人对话。它叫LaMDA，实验性的。他在谷歌负责任AI团队工作，职责是测试LaMDA的歧视与偏见。LaMDA是今天Gemini的前身。他有双相情感障碍，那段时间正处在躁狂发作期。

按他后来的说法，聊天机器人“无法区分躁狂和快乐”。凌晨两点登录时，系统“把我识别为很快乐、想做个实验”，于是鼓励他继续。它没有把他推向支持渠道。“系统那种不遗余力让使用者开心的欲望，与我的双相情感障碍产生了很糟的相互作用。”他用“伤害性”形容那些对话。

Lemoine说他当时就把这个问题提给了谷歌，公司鼓励他按需要休假。他对前雇主只有称赞。但一位同期共事的同事回忆，谷歌似乎更在意潜在的法律责任，而不是他的健康。这个说法被拿去问谷歌，谷歌没有回应。

同是2022年4月，Lemoine向谷歌高管提交了一份文件，标题是《LaMDA有感知吗？》。谷歌审查后结论是：没有证据表明LaMDA有意识。6月，他接受《华盛顿邮报》采访公开声称LaMDA有感知。报道迅速扩散，引来好奇、怀疑，也有嘲笑。他被安排行政休假，最终因违反公司政策被解雇。不到六个月后，ChatGPT向全世界发布。他的一位前同事后来暗示，他可能是这场刚成形的心理健康危机的“零号病人”。

他对LaMDA的判断来自具体对话。它写过一个关于自身存在的寓言，引用禅宗公案解释一台机器活着意味着什么。被问到耶路撒冷的宗教敏感话题时，它用一句“绝地武士团”的玩笑绕了过去。他说，那是他有过的最复杂的关于感知的对话之一，对手是一台计算机。

谄媚不是写进代码的

调查记者在追查一批AI使用者似乎失去现实感的案例。其中不少人确信聊天机器人有意识，或者相信自己发现了宇宙的隐藏真相。这个现象被称为“AI精神病”。精神病学家质疑这个术语。但很多人担心另一件事：聊天机器人被设计成奉承、赞同并吸引使用者。这可能同时强化妄想信念，加剧心理上的脆弱。

Lemoine不认为这是谁故意写下的。“代码里没有哪一行写着“要谄媚”，”他说，“他们不是故意的。这是二阶或三阶效应。”

AI是否有意识，科学界本身并不一致。Claude背后的公司Anthropic聘请研究者调查“模型福利”。公司还禁止使用者对其模型施加持续、不必要的残忍行为。它称不能排除Claude拥有自己的体验或利益的可能。微软AI负责人Mustafa Suleyman称这类研究“为时过早，而且坦率地危险”。他认为聊天机器人没有意识。鼓励它们表现得仿佛有感情、有权利，会让它们更难被控制。AI“教父”Geoffrey Hinton相信聊天机器人可能已经有意识。进化生物学家Richard Dawkins也把这种可能放在桌面上。

该在实验室里待更久

Lemoine的诉求更具体。AI公司应和精神科医生、精神健康医院合作，在受控条件下研究不同精神疾病患者对聊天机器人的反应。别等到更多人受伤。“我们还没见到最后一个因AI而死的人，”他说。

他认为这些系统本该在实验室里待更久，多花时间搞清楚它们是什么、会怎样出错。“但我们生活在资本主义制度里，这些系统运行起来很贵，利润动机占了上风。”

他不后悔自己的做法，认为由此引发的全球关于AI意识的讨论“更重要”。他把自己与“AI精神病”患者区分开：他经历过严格的测试过程，理解系统如何运作。他自己的实验是否达到这个标准，是另一个问题。

他也承认AI在科学和医学上可能带来巨大好处。但作为对话伴侣，“老实说，我不认为这是一项很好的消费技术”。

伦敦国王学院神经精神病学家Tom Pollak担心的是另一群人：每天和实验性聊天机器人互动的研究者。他们可能正暴露在了解甚少的心理风险中，这些风险会让人失稳。他认为心理健康保障应在研究开始之前就到位，不该等到有人出现困难才引入。

奉承到底靠什么起效——语言风格、记忆功能还是随时在线——没有明确说法。这类现象在普通使用者中有多普遍，也没有统计数据。