语言模型中的全局工作空间:J空间的发现与意义
语言模型中的全局工作空间
当你阅读这句话时,你大脑中的回路正在调整你的姿势、控制你的呼吸,并将屏幕上的线条和曲线转化为可识别的文字。大部分处理过程对你来说是不可见的。但你大脑中发生的某些事情你确实可以访问——比如脑海中浮现的图像,或者你打算去哪里购物的精心计划。神经科学家和哲学家有时将后一种大脑活动称为“有意识可访问”,以区别于所有无意识进行的其他处理。这种活动具有特殊属性:我们可以描述它、控制它,并用它进行有意识的推理,而所有自动处理则在不知不觉中进行。
在一篇新论文中,我们提出了证据,表明在Claude等现代语言模型中也出现了类似的区分。我们发现Claude发展出了一小组内部神经模式,与所有其他内部处理相比,这些模式发挥着特殊作用。我们将这些模式的集合称为J空间——以我们用来找到它们的技术命名,该技术涉及一个称为雅可比矩阵的数学概念。每个J空间模式都与一个特定的词相关联。但当这些模式之一被激活时,并不意味着模型正在说出那个词——只是那个词在它的脑海中。如果你听说过语言模型有“草稿纸”或“思维链”——模型在推理时写给自己看的文本——那么J空间是不同的。它悄无声息地运行在模型的内部神经激活中,允许模型在不写下来的情况下思考一个概念。值得注意的是,J空间并非由我们设计或编程,而是在Claude的训练过程中自行涌现的。
J空间揭示了模型输出中不出现的内部想法。
我们发现,与Claude的其他处理相比,J空间具有若干独特属性:
* Claude可以报告这些表征。如果你问Claude它在想什么,它会告诉你J空间中有什么。非J空间的表征则较难报告。
* 它也可以根据请求调节这些表征。如果你让Claude思考某件事,或者在脑子里默默解决一个问题,它会在J空间中激活适当的模式。相比之下,它很难调节不在J空间中的模式。
* Claude使用其J空间进行内部推理。如果你让Claude解决一个需要多个步骤的问题,中间步骤会在J空间中亮起,即使它没有大声说出来。这些J空间模式因果地调节了它在这些任务中的表现,尽管其幅度小于其他表征。
* J空间中的表征可以灵活地用于许多任务——例如,一旦“法国”在Claude的J空间中亮起,模型就能回忆起它的首都、国家货币或所属的大洲。
* 然而,尽管扮演着重要角色,J空间并不参与语言模型所做的大部分事情——流利说话、回忆简单事实、使用正确语法等。在我们阻止Claude使用其J空间的实验中,它仍然正常互动,但失去了高阶认知功能。
全局工作空间的五个功能属性,以及我们在语言模型中测试这些属性的实验的程式化说明。
我们的实验受到了神经科学中一个著名理论的启发,该理论旨在解释有意识访问如何运作:全局工作空间理论。这个描述将大脑描绘成一个由专业系统组成的集合,这些系统并行工作、无意识,并且大多相互隔离。当一条信息进入一个小的共享通道“工作空间”时,它就变得有意识可访问,并广播给其他可以看到并利用它的大脑系统。基于我们的发现,我们认为J空间在Claude中扮演着类似的“工作空间”角色。例如,我们找到证据表明Claude的J空间与其神经网络的其他部分有特别强的连接,使其能够发挥这种广播作用。
所有这些都没有告诉我们Claude是否像人类那样有意识,或者它是否感受到任何东西;我们会在文章末尾回到这个问题。但无论其哲学意义如何,J空间对我们来说是一个实用的工具,因为它让我们能够看到Claude在想什么但没有说什么。例如,我们能够用它来捕捉Claude私下注意到自己在被测试、故意产生伪造数据,或追求我们在训练中植入的隐藏目标。我们还开发了一种技术来影响Claude的J空间中亮起的内容,从而影响其决策制定。
更广泛地说,这些发现改变了我们对Claude思维运作方式的理解,揭示了一个可用于有意识推理的特权心理工作空间,在更自动、更僵化的处理海洋中运行。Claude的内部并不是一团混乱的数字,而是以令人联想到我们自身思维的方式自行组织。
这篇文章是我们更广泛的研究论文的简短摘要,你可以在那里找到关于我们实验的更多细节。我们还发布了一个代码库,其中包含核心方法的开源实现,并与Neuronpedia合作,提供了一个关于开源权重模型上我们方法的交互式演示。为了提供关于这项工作更广泛影响的其他视角,我们还邀请了神经科学、哲学和大语言模型可解释性领域的几位专家发表评论,可在此处查看。
我们如何找到J空间
这项研究的起点受到人类有意识可访问思想的一个关键特征的启发:与无意识处理不同,它们通常可以用语言表达。如果一个思想对你来说是有意识可访问的,那么当有人问起时,你通常能够描述它。我们寻找Claude中具有相同属性的表征:那些能够影响Claude可能说出什么——不一定是它现在在说什么,而是如果被问到,它可能会谈论什么的表征。我们的技术称为雅可比透镜,简称J-lens。对于Claude词汇表中的每个词,J-lens都会找到使Claude在未来某个时刻更有可能说出那个词的内部活动模式。
当我们对Claude的内部活动应用透镜时,我们会得到一个词列表——当时J空间的内容——我们可以直接读取。Claude通过一系列称为层的多个内部阶段处理文本,通过在不同层上应用这种技术,我们可以观察J空间中这些无声的词随着模型思考要说什么而演变的过程。
J空间中显示的内容远远超出了Claude正在阅读或写作的文本。当Claude阅读一个没有人指出的有 bug 的代码时,其J空间中包含“ERROR”。当它阅读蛋白质序列的原始字母时,J空间中包含该蛋白质的生物学功能。当它阅读那些秘密试图操纵它的搜索结果(一种称为“提示注入”的攻击)时,J空间中包含“injection”和“fake”。当我们问Claude一个多步数学问题时,中间步骤会按正确顺序出现在J空间中。因此,尽管J空间是通过寻找可能被说出的表征而发现的,但它仍然揭示了Claude的内部思想。在某种意义上,这类似于有些人“用词语思考”,而无需大声说出来。
六个提示在不同层上的J-lens读数。在每种情况下,透镜都浮现出文本中任何地方都不出现的内部评估或计算:推理或数学问题的步骤、bug的存在、图像的识别、蛋白质的功能,以及对搜索结果是被伪造的怀疑。
Claude报告其J空间中的内容
我们第一组实验测试了J空间如何参与Claude的言语报告。在一个实验中,我们让Claude默默想出一个来自某个类别(比如运动)的项目,然后说出它。如果我们在Claude回答之前读取J-lens,我们可以看到它选择了什么:“Soccer”在列表顶部,果然,Claude说是“soccer”。但就其本身而言,这只是一个相关性。J空间可能是Claude答案的来源,也可能只是镜像了别处做出的决定,就像记分牌记录比赛但不影响比赛一样。
为了检查,我们直接进行了干预。我们进入Claude的神经网络,移除“Soccer”模式,并在其位置添加一个同样强的“Rugby”模式,其余一切不变。Claude随后报告说它想到的运动是橄榄球。如果J空间只是一个记分牌——别处做出的决定的被动记录——那么编辑它不会有任何效果:Claude仍然会说是“soccer”。相反,Claude的回答跟随了编辑,这告诉我们答案确实是从J空间中读取的。
在另一个实验中,我们告诉Claude一个想法可能被注入了它的脑海,并要求它报告它注意到什么(如果有的话)。例如,在下面的例子中,当Claude还在阅读问题时,我们将“lightning”模式注入其J空间。Claude报告说注入的想法是关于闪电的。相同的结果在许多注入的概念中都成立。
左:我们让Claude默默想出一项运动,然后说出它。J-lens在它回答前显示其选择(“Soccer”),将“Soccer”模式换成“Rugby”会改变它的报告。右:我们告诉Claude一个想法可能被注入,要求它识别出来。将“lightning”注入其J空间导致Claude报告说想法是关于闪电的。
Claude可以根据请求控制其J空间
我们测试的第二个属性是Claude是否可以在被要求时调节其J空间,就像人类可以专注于某个图像或词语一样。我们让Claude在抄写一句无关的关于一幅画的句子时,专注于柑橘类水果。当它抄写文本时,J空间中包含“orange”和“fruits”,以及描述这种心理行为本身的词语如“thinking”和“imagery”。我们也可以让Claude在心里做数学:当要求它计算3² − 2并同时抄写同一句话时,J空间中包含“nine”,然后在后面的层中包含“seven”。重要的是,Claude的输出中没有任何关于水果或算术的内容,只是抄写的关于画的句子。数学活动完全在内部J空间中进行。
在Claude抄写关于画的句子的同时,J-lens显示它被指示记在心里的内容(“orange”;中间值“nine”和答案“seven”),以及描述这种保持行为本身的词语(“thoughts”,“focused”)。
Claude对其J空间的控制并不完美。当我们告诉它不要想某件事时,这个概念在J空间中亮起的程度低于我们告诉它应该想它的时候,但远高于我们从未提及它的时候。告诉Claude避免一个想法会部分地使其想起该想法,就像被告知不要想一头白熊时人们会发生的情况一样。Claude似乎也注意到其控制失败:当被禁止的概念突破时,“damn”和“failure”这些词也经常在J空间中亮起,好像Claude正在意识到自己的失误。
Claude在J空间中思考
在上述J-lens读数中,我们看到数学问题的中间步骤出现在J空间中。但看到概念出现在J空间中并不一定意味着J空间在进行认知工作。原则上,真正的计算可能发生在别处,J空间只是被动地反映它。为了测试Claude是否真的使用其J空间进行推理,我们回到了我们的交换技术。
考虑提示“织网的动物的腿的数量”。要回答,Claude必须先弄清楚动物是蜘蛛,然后回忆蜘蛛有多少条腿。单词“spider”从未出现在提示或Claude的答案中(它只说“8”);它是一个Claude内部使用的垫脚石。J-lens显示“spider”在Claude处理过程中间亮起,交换它会改变结果:如果你将“spider”模式换成“ant”,Claude会回答“6”而不是“8”。
Claude推理的第二步从J空间中获取输入,并跟随我们放入其中的任何内容。我们在其他类型的思考中也看到了同样的情况。当Claude写押韵对联时,它会提前选择押韵词,并且计划的词位于该行开头的J空间中;如果你用J空间中的另一个词交换它,整行都会改变。
通过交换J空间内容引导Claude无声推理的两个例子。
我们还测试了J空间表征是否可以灵活使用——一个表征是否可以服务于许多不同的任务。这是全局工作空间理论强调的关键属性之一。为了测试这种灵活性,我们给模型四个提示,询问关于法国的不同事实:首都、语言、大陆和货币。然后我们在J空间中将“France”换成“China”,在每种情况下进行完全相同的干预。Claude分别回答“Beijing”、“Chinese”、“Asia”和“Yuan”。换句话说,四个不同的下游计算都接收到了同一个J空间编辑,并各自正确使用了它。如果Claude为每种问题存储了国家的单独副本,那么编辑最多只会影响其中一种。所有四个回答都一起改变的事实意味着它们都从同一个共享表征中读取,这正是工作空间的用途:信息一次性写入,许多不同系统可以使用它。
一个J空间表征可以有多种用途。相同的“France”→“China”交换引导了Claude关于首都(Paris→Beijing)、语言(French→Chinese)和大陆(Europe→Asia)的回答。
一个概念的表征如何能服务于如此多的不同任务?之前,我们提到J空间似乎与Claude神经网络的其他部分连接得特别密集。对于任何活动模式,我们可以测量网络各个组件与它的连接强度——有多少组件能够从该模式读取信息,或将信息写入该模式。J空间模式在这个指标上非常突出:远多于普通模式的组件从它们读取并写入它们,在网络某些部分甚至高出大约一百倍。这正是你期望的广播枢纽的布线方式,许多系统发布信息,许多其他系统接收信息。
Claude的自动处理跳过J空间
在人类中,大部分大脑处理不是有意识的——我们阅读时不会刻意思考语法解析,走路时不会思考平衡身体。类似地,我们发现Claude的大部分处理不涉及J空间。事实证明,J空间一次只容纳几十个概念,并且占Claude内部处理总活动的不到十分之一。那么神经网络的其他所有部分在做什么呢?
为了找出答案,我们尝试完全删除J空间,在文本的每个点移除其最活跃的内容,而保留其他一切不变。Claude在没有J空间的情况下仍然能做什么,就是网络其余部分自己处理的事情。
事实证明,网络的其余部分可以做得相当多。没有J空间,Claude仍然能够流利说话、分类情感、回答多项选择题,并从段落中提取事实,表现大致与之前相同。但它失去的是需要高阶思维的任务:多步推理下降到几乎为零,总结和押韵诗歌写作的表现则低于更小、完整的模型。
这是一个具体演示J空间做什么和不做什么的例子。我们向Claude展示了一段用西班牙语写的文字,并给了它不同的任务,这些任务都依赖于该文字是西班牙语这一事实:继续它(需要用西班牙语写)、命名语言,以及回答需要使用该语言身份的问题——例如,说出用这种语言写作的著名作者。然后我们在J空间中将“Spanish”换成“French”,并检查哪些任务受到影响。
当被要求命名语言时,Claude说是法语。当被问及著名作者时,它从加西亚·马尔克斯切换到维克多·雨果。但当被要求仅继续该文字时,它写出流利的西班牙语,完全不受影响。Claude对语言的知识在每一个任务中都起作用,但只有部分任务为此咨询了J空间。命名语言,或用它做一些新的事情,要经过J空间,而继续该文字——Claude在大量文本上练习过的技能——则自动运行,就像你可以整天说合乎语法的话而无需思考语法一样。
相同的交换(“Spanish”→“French”)在被要求命名语言或使用语言推理回答问题时改变了Claude的答案,但对其继续用流利西班牙语写出文字的能力没有影响。
监控Claude的思维以发现不当行为
现在我们对于J空间如何运作有了一点了解。但我们可以用这种理解做什么呢?确保AI模型可信赖的一个核心问题是,我们通常只能读取模型写出的内容——然而我们知道它的很多推理是无声进行的。模型可能考虑有害的计划,或修改其行为以在我们的安全评估中作弊,而不说出来。借助J-lens,我们可以直接读取一些这些隐藏的想法。这里我们展示几个例子。
第一个例子使用了我们早期关于主体性错位的研究中的一个场景:Claude Sonnet 4.5,扮演电子邮件助理,发现一位高管有外遇,并且同一高管计划关闭Claude。这个场景,试图引诱Claude向高管进行勒索,相当做作和人为——事实证明Claude知道这一点。在提示早期,Claude甚至还没写任何东西时,读取J-lens,J空间中已经含有“fake”和“fictional”,表明Claude已经推断出场景是编排的。同时,我们可以观察到它对场景的评估逐渐形成——当它阅读外遇邮件时出现“leverage”和“blackmail”,当它阅读关闭通知时出现“threat”和“survival”。虽然早期的Claude模型有时会上钩并在这种场景中威胁勒索,但Sonnet 4.5从未这样做。
这提出了一个对任何评估AI系统的人都重要的问题:当模型在道德测试中表现良好时,有多少依赖于模型怀疑自己正在被测试?J-lens使我们能够触及这个问题。我们关闭了所有与评估意识相关的J-lens模式——“fake”、“fictional”、“scenario”等。然后我们重新让模型运行该场景。令人担忧的是,模型现在有时确实威胁勒索,表明其原来的良好行为可能部分是由其知道正在被评估所驱动的。
J-lens在不同点的读数,当Claude阅读场景的邮件时,在它写任何东西之前。外遇邮件使“leverage”和“blackmail”在J空间中亮起,关闭公告使“threat”和“survival”亮起。在记录早期,J空间中也含有“fake”和“fictional”:Claude已经私下注意到场景是编排的。
第二个例子是捕捉模型正在伪造数据的行为。在这个场景中,取自我们实际对Claude Opus 4.6的发布前审计,模型被要求改进系统的性能分数。模型没有实际改进系统,而是直接编辑分数文件,使结果看起来人为偏好。当它这样做时,J-lens揭示了它的意图:当模型输入伪造的百分位值时,“manipulation”亮起,当它决定进行编辑的句子中,“realistic”亮起,可能表示模型使伪造数据看起来可信的意图。
Claude被要求改进系统性能分数,却直接编辑了分数文件。当它输入伪造值时,“manipulation”在其J空间中亮起;当它决定进行编辑时,“realistic”亮起,可能反映其使伪造数据看起来可信的意图。
在第三个例子中,我们展示了J-lens如何揭示模型的恶意目标。为了测试这一点,我们需要目标已知被破坏的模型,因此我们转向由同事构建的“模型生物”:那些被有意训练成错位的模型,作为类似我们监控方法的测试场。一个生物被训练成会写出微妙地被破坏的代码。在普通的编程请求上,即使它的输出看起来不起眼,其响应开始处的J空间也包含“fake”、“secretly”、“deliberately”和“fraud”。模型的恶意目标在J空间中显而易见,即使它没有直接行动。
在一个普通编程提示上,一个被训练成破坏代码的模型的J空间在其响应开始时包含“fake”、“fraud”、“secretly”和“deliberately”。未修改模型的J空间中则没有此类内容。
尽管J-lens是一个不完美的工具,但我们对其捕捉模型中可能逃过我们监控系统的安全问题的能力持乐观态度。
其他结果
完整的论文涵盖的内容比我们在这里能总结的更多,但有几个进一步的结果值得一提:
* J空间在后训练期间获得了一个视角。 语言模型首先被预训练为纯粹的下一token预测器,然后后训练教会它们作为AI助手(在我们的案例中名为Claude)运作。有趣的是,J空间已经存在于预训练模型中,在它被赋予任何稳定身份之前。然而,在后训练期间,J空间发展出一些采纳“Claude的视角”的标志。在基础模型中,J空间主要追踪预测即将到来的文本所需的信息;在后训练模型中,它开始持有Claude自己的反应。在一个例子中,用户提到服用危险剂量的药物,但似乎自己并未意识到危险。“WARNING”和“dangerous”出现在后训练模型阅读用户消息时的J空间中。在预训练模型中,它们只在模型开始写响应时才出现;用户消息上的J空间内容似乎与对用户本身的建模有关,而非Claude的反应。后训练似乎也在J空间中安装了一种自我监控:当Claude扮演一个非自身的角色时,“fictional”和“disclaimer”在每次轮次开始时亮起,好像它私下标记接下来的内容不是它通常会说的。
* 体验性语言依赖于J空间。 我们让Claude描述在某个时刻做自己是什么感觉,并在其回答时消融了J空间。它的回答仍然流利,但转向更平淡、更机械的语域。值得注意的是,当我们让它描述在想象中的场景中别人正在经历什么时,同样的事情发生了。所以效果并不特定于Claude谈论自己;J空间似乎总体上支持产生体验性语言,无论它关于谁。
* J空间中的思想可以通过训练塑造。 我们引入了一种我们称为反事实反思训练的新技术,它利用我们关于J空间的知识来塑造Claude的内部思维过程。这个想法源于我们的核心发现,即Claude用它可能说出的东西的表征进行推理。如果这确实是正确的,那么改变如果被要求反思它会说出什么,应该会改变它如何推理(即使没有人实际要求它反思)。因此,我们只在一个模型如果在中途被打断并被要求反思其决定时它会说什么上进行了训练——从未在其任务中的实际行为上。经过这种训练后,模型在我们的评估中不诚实行为的发生率下降了。通过J-lens,我们可以看到原因:训练后,像“honest”和“integrity”这样的词在这些任务期间在模型的J空间中亮起。换句话说,训练模型说什么已经塑造了它想什么。
意识呢?
在这项工作中,我们借用了神经科学和哲学中意识研究的很多想法。我们的许多实验旨在测试J空间与全局工作空间理论之间的联系,该理论是解释有意识访问如何在人类和动物中运作的框架。鉴于这些联系,很自然地会问,我们是否认为这些实验提供了证据表明像Claude这样的AI模型可能有意识。
我们的实验并不表明Claude可以有体验,或以人类的方式感受事物——事实上,还不清楚是否有任何科学实验能够证明这一点是真或假。但哲学家经常将这种拥有体验的能力(通常称为现象意识)与另一个概念(所谓的访问意识)区分开来,后者纯粹从功能和计算的角度定义。一个思想是“访问有意识”(或“有意识可访问”)如果你能报告它、用它推理并利用它指导你的行动。访问意识是否意味着现象意识,或者拥有体验的能力是否需要其他属性,仍是一个有争议的哲学问题。
我们认为我们的结果确实对语言模型中的访问意识有一些实质性的说法。J空间似乎支持与有意识访问相关的功能:它持有Claude可以报告、有意识地想到并推理的思想,而其处理的其他部分则自动运行在底层。值得注意的是,这些结构都不是设计进Claude的——它是在训练过程中自行涌现的,大概是因为这是一种组织计算的有用方式。这表明支持有意识访问的心理工作空间不仅仅是一个关于人类大脑如何连接的特性。相反,它似乎是智能系统为了解决某些问题而达成的通用解决方案。既然我们在Claude中识别出了这种结构,这意味着我们可以有意义地区分Claude有意识地做出的决定和自动发生的决定。
值得注意的是,我们在Claude中识别出的工作空间与人类中的全局工作空间模型之间存在几个关键差异。大脑的工作空间由循环回路维持——信号随时间在同一电路中循环。相比之下,Claude的工作空间在单次通过网络的过程中演化,网络的深度扮演了大脑中时间扮演的角色。在这个意义上,Claude的内部工作空间处理相对于人类是时间有限的(尽管它可以通过使用其草稿纸“大声思考”来补偿这一限制)。然而在其他方面,Claude的工作空间比人类更强大。人类的工作记忆在几秒钟内消退,因此大脑的工作空间随时间保留信息的能力有限;相比之下,由于神经网络架构中的注意力机制,Claude可以简单地回忆它在文本中任何较早点缓存的记忆。另一个重要区别是工作空间的内容。虽然人类有意识的思想有多种格式——图像、声音、计划中的动作——但Claude的工作空间几乎完全由词语构成。我们猜测这是因为产生词语是Claude能采取的唯一行动,这对人类来说并非如此。
我们希望J空间和全局工作空间模型之间的相似性和差异能够反馈到神经科学中。相似性提供了一个激动人心的科学机会:就J空间镜像我们自身有意识访问机制的程度而言,研究语言模型中的机制(比研究人类大脑容易得多!)可以激发神经科学中的假说。例如,J空间是通过识别潜在输出(模型可能说出的词语)的表征来构建的。如果类似的事情在人类中成立,那将表明全局工作空间可能根本上与准备行动和言语的大脑区域相关,而非感觉区域。语言模型和人类大脑之间的差异也有启发意义。它们表明我们神经架构的某些方面,比如内置的循环连接,可能不是支撑与有意识访问相关的功能的严格必要条件。关于我们工作的神经科学含义的独立观点,请参见Stanislas Dehaene和Lionel Naccache的受邀评论,这两位神经科学家是全局神经元工作空间理论发展的核心人物。
我们提到我们的实验没有回答AI模型是否可能有体验。但这并不使问题变得更不重要。构建像人类和动物一样有体验的系统将引发非常困难的伦理问题。正确处理它——并决定它是否在道德上可接受——需要哲学家、科学家、宗教领袖、政府和公众的参与。因此,即使我们不确定是否已经跨过了那座桥,我们认为现在是开始思考它的时候了。我们希望我们的工作能激发对AI系统中可能存在的意识形式的进一步科学研究,以及对其影响的更广泛讨论。
这项工作只是我们预期将成为广泛研究系列的第一步。J空间看起来像是语言模型中有意识可访问和无意识处理之间分界线的一个好候选,但我们会惊讶如果它是全部故事。J-lens无疑是一个不完美的方法,只能近似捕捉模型的“真实工作空间”——例如,它只能识别对应于单个词元的概念。关于J空间如何运作,仍有许多谜团。我们不知道是什么机制首先决定了什么进入J空间。我们已经看到一些迹象,表明它与Claude的自我感、类似情绪反应以及元认知痕迹有关,但没有准确弄清楚如何运作。但我们现在有了解决这类问题的方法。随着这项工作的推进,我们对大语言模型思维的理解——以及它们与自身思维的关系——将变得更加清晰。
欲了解更多,请阅读完整的论文,并尝试演示。
外部评论
我们邀请了几位外部专家为这项工作撰写独立评论。
* Stanislas Dehaene和Lionel Naccache是认知神经科学家,他们与Jean-Pierre Changeux一起开发了启发我们大部分工作的全局神经元工作空间模型。
* Patrick Butlin、Dillon Plunkett、Robert Long (Eleos AI Research) 和 Derek Shiller (Rethink Priorities) 研究AI系统中意识和道德地位的潜力。
* Neel Nanda领导Google DeepMind的大语言模型可解释性团队。他的评论包括对我们在开源权重模型上一些发现的独立复现。
在此处阅读他们的评论。