我们是否在以正确的方式思考AI智能？
当一个大语言模型（LLM）回答问题时，它是在像人类一样推理，还是仅仅在生成看起来像推理的文本？这个区别不只是哲学层面的——它决定了我们可以信任AI去做什么、需要我们多密切地监督它，以及最终它对现实世界的影响会是什么。
圣塔菲研究所（Santa Fe Institute）的Melanie Mitchell认为，我们缺乏衡量机器认知的适当方法，而AI是一种通过非人类认知机制运作的“异类智能”。在本期《The Joy of Why》中，Mitchell向Steven Strogatz讲述了心理学家研究其他“异类智能”——婴儿和动物——的认知时使用的方法如何被用来探查AI，她还阐述了更好评估机器认知的六项原则。他们的对话涵盖了解读这些系统内部运作的挑战、最近AI辅助下的数学突破，以及为什么20世纪初一匹会做数学的马为人类如何评估智能提供了一个警示故事。
文字记录
[音乐播放]
Steve Strogatz：我是Steve Strogatz。
Janna Levin：我是Janna Levin。
Strogatz：这里是《The Joy of Why》。
Levin：一档来自Quanta Magazine的播客，我们在这里探索当今数学和科学中最重大的未解问题。
Strogatz：嗯，大家好。毫不意外，这又是一期关于AI的节目。
Levin：我跟你说，这是一个人们似乎永远听不够的话题，而且我已经不太愿意再高谈阔论了。它变化得太快了。
Strogatz：确实。它发展得非常快。我们说的任何话到下个星期可能就过时了。
Levin：哦，没错。
Strogatz：就在我们说话的此刻，是2026年7月23日。
Levin：而且对我来说，感觉和2025年7月23日很不一样，这一点是肯定的。
Strogatz：嗯。这其实和我们今天要谈的时间线有关，因为我们今天的嘉宾Melanie Mitchell，是圣塔菲研究所的认知科学家和计算机科学家，她之前上过我们的节目。我和她大约五年前聊过，那是在ChatGPT出现之前。
Levin：对。她那时候就对AI感兴趣吗？
Strogatz：哦，是的。
Levin：好，所以不只是认知科学。
Strogatz：当然。我是说，是的，我应该说明一下，Melanie思考AI已经很久了，她会跟我们讲这些。但我觉得我们今天要讨论的最有意思的一点是，Melanie的观点——从发展心理学这类领域的角度来思考AI问题。比如，一个婴儿或小孩是如何变得像他们后来那样聪明的？
Levin：哦，我觉得这太有意思了，因为我们对人工心智如此兴奋，却对人类心智本身知之甚少。
Strogatz：完全正确。
Levin：对，所以我们是在试图跳过一个步骤。
Strogatz：嗯，没错。而且不只是人类心智，还有动物心智，对吧？所以有比较心理学这个领域，我们研究鸟类、狗或海豚之类的智能。关于思考我们自己的成年人类智能之外的其他智能，我们有很多可以学习的。
Levin：是的，而且这个想法是，我们竟然试图简单地理解一种产生人工智能的机制，而我们对一个婴儿出生时或成长过程中如何获得那种智力水平的机制并不了解。我是说，我觉得把这两者结合起来真的很有意思。所以我很期待这一期。
Strogatz：好的。那让我们和Melanie Mitchell一起深入讨论吧。她来了。
[音乐播放]
Strogatz：你好，Melanie。
Melanie Mitchell：嘿，Steve。
Strogatz：非常高兴再次见到你。这会很有趣的。我们几年前聊过，那时这个节目还叫《The Joy of X》，我想你可能是我第一个回归的嘉宾。
Mitchell：天哪，我深感荣幸。
Strogatz：你确实应该感到荣幸。我请你回来，是因为感觉人工智能领域发生了太多变化。我们上次聊大概是2021年，然后ChatGPT的海啸在2022年11月左右席卷了世界，对吗？
Mitchell：没错。
Strogatz：所以每个人都知道AI无处不在。我们似乎都在谈论它。人们在担心它。有些人为它感到兴奋。它当然被广泛使用。我想先问的是，过去几年里最让你惊讶的是什么？
Mitchell：哦，天哪。太多事情让我惊讶了。仅仅是我们能通过在这些模型上训练海量的人类生成的语言、图像等等达到现在的位置，这一点我做梦都想不到。所以我对AI领域发生的事情真的非常惊讶。还有AI社区和整个社会中出现的两极分化的反应，我觉得也让我有点惊讶。
Strogatz：两极分化是指，比如人们有时会区分AI末日论者和AI乐观主义者？你是指这类东西吗？
Mitchell：有那个维度，还有另一个维度，有人相信AI比人类更聪明，也有人认为它离接近人类智能还差得很远。我想与之相关的是那种爱它和恨它的分裂。这些是不同的维度，但也许它们是相关的。
Strogatz：嗯，对，爱它和恨它也与对环境的冲击、某些公司的经济繁荣有关，但还有失业问题呢？这件事有太多维度了。
Mitchell：哦，太多了，是的。
Strogatz：但今天我最想和你深入探讨的是复杂系统、认知科学、人工智能。你有很多不同的身份，但我非常好奇的是你一直在做的工作——通过发展心理学的视角来看AI，就像我们试图思考人类婴儿的异类智能那样；或者通过比较心理学的视角，就像我们看待宠物狗、聪明的鸟或海豚的异类智能那样。我是说，这是对AI这种异类智能的一个非常有趣的视角。
Mitchell：是的。很多人把AI描述为一种异类智能，因为它和人类非常不同，尽管它是在人类语言、书籍和互联网上的一切东西上训练的。但这些系统运作的方式、学习的方式、推理的方式、做它们所做的事情的方式，真的和人类的方式很不一样。
这个主题实际上被发展心理学领域的人接了过去，特别是斯坦福的Mike Frank，他写了篇文章，说做AI的人应该从对婴儿和幼儿的研究、从发展心理学中汲取一些灵感。然后其他人把它扩展到了动物智能的层面。我想认知科学领域的人一直在敦促的一件事是，AI领域的人应该采用一些实验方法论，让AI更像一门科学。
Strogatz：是的，我非常喜欢这个观点，我想我们的听众可能不太熟悉。我承认我自己也不太熟悉。你知道，我从未学过认知科学，也没上过发展心理学课程，而这些领域的人思考这些问题已经……我不知道，你告诉我吧。
Mitchell：是的，至少100年了。
Strogatz：是的，到现在100年了。哇。我在来的路上想到，我们总是说AI是个黑箱。我们不能轻易地读取神经元上的权重，即使能读取，我们也不知道它们告诉我们什么。但话说回来，难道我们不能说我们自己的智能在很多方面也是一个黑箱吗？
Mitchell：当然。我是说，我们有不同的方式来穿透黑箱。一个是神经科学，我们真的把探针插进神经元，或者用fMRI或其他成像技术。还有心理学，你只观察一个人或一只动物的行为，然后试图从中推断潜在的机制。
这两个传统长期以来相当分离。但认知科学领域试图整合它们，最初认知科学领域也包含AI。不知怎么回事，这种整合没有成功。
Strogatz：你的意思是它在社会学意义上没有流行起来，还是什么意思？
Mitchell：你知道，最初人们认为我们要按照人类工作的方式来编程。人类心理学和人们试图把人类心理学构建进AI之间有非常紧密的联系。然后这实际上并没有在AI领域取得像我们看到的神经网络那样的成功，从数据中学习而不是试图编程进去。
Strogatz：我明白了。
Mitchell：神经网络本身最初确实受到神经科学的启发，但今天神经网络的工作方式已经大大偏离了最初的灵感来源。所以我认为机器学习领域更多地走向了统计学的方向，这与认知科学的工作方式相当不同。
Strogatz：所以现在，我想谈谈基准测试，因为它们似乎确实是近来社会广泛讨论中的一个重要部分。有一件事让数学界很多人议论纷纷。最新的前沿模型之一做了一些看起来像创造力的事情，解决了一个古老的、长期存在的数学问题——正是Paul Erdős留下的大量问题之一，这位伟大的匈牙利数学家留下了很多问题供人们思考，其中一个被称为“单位距离问题”的问题最近被AI以一种非常巧妙的方式解决了，它把数学的两个部分以以前从未真正尝试过的方式结合在了一起。我提起这个是因为我们上次交谈时，我们在讨论一个学习玩某种Atari游戏的老AI。你说到它玩得有多好，但如果你把挡板上移几个像素什么的，它就不得不从头重新学习。它完全不会玩原始游戏的任何微小变体。
所以你当时说的那句话我一直记着：“奇怪的是，这些机器似乎不能把它们的才华迁移到它们被训练的那个领域之外的任何其他领域。”那是五年前了。现在我在想，你觉得呢？这句话现在还成立吗？
Mitchell：是的，我是说，那个特定的模型不是大语言模型。它是一个专门玩Atari游戏的模型。而现在我们有在一切东西上训练的大语言模型。所以从某种意义上说，它们不需要迁移任何东西。它们已经被训练好了。但是，AI或机器学习领域的人会谈论“分布内”和“分布外”，那意思是，我们要求模型做的事情和它在训练数据中看到的东西相似，还是完全不同？
而且我觉得很难知道。我们不知道它被训练了什么。解决这些问题的模型肯定被训练了很多数学，因为互联网上有很多数学。它被训练了教科书。它被训练了Steve Strogatz在YouTube上的所有视频。这些模型相当擅长把一个领域的东西和另一个领域的东西放在一起。
但是，你知道，我不知道怎么谈论这种“迁移”的概念，当某样东西在所有东西上都被训练过，尤其是在数学这样的领域。
Strogatz：嗯。
Mitchell：在数学领域，“在所有东西上训练”我想在某种程度上有一些意义。如果你说它被训练了所有与成为人类有关的东西，显然不是这样。但如果你说它被训练了所有与数学或代码有关的东西，我不知道。所有的数学知识都以某种文本或视频格式存在于那里吗？
Strogatz：好吧，你在问我。所以最近在我们数学界引起轩然大波的事情，我们试图理解刚刚发生了什么。我们过去认为，“好吧，这些机器非常擅长搜索”，或者“这些程序擅长在大空间里搜索”。它们有大量的知识，因为正如你所说，它们吸收了整个互联网和国会图书馆，任何你能读到的东西，它们都读过。
所以任何涉及知识、搜索能力、快速计算和不遗忘能力的事情，都是它们的强项。但是，发现不同分支之间以前未被注意到的联系并利用它来解决一个长期存在的问题，如果人类做到了这一点，我们会认为那是美学的巅峰。
你知道，数学家喜欢拓扑学的思想被用来解决几何问题，或者代数的思想帮助解决某个问题。但话说回来，也许这有点容易。如果你知道所有已经做过的事情，并且可以寻找大量可能的联系，也许你偶尔会运气好。所以这看起来就像是这里发生的事情。
Mitchell：是的。不，我觉得你说得对。我不知道……你知道，谁知道它是怎么发生的，因为出于很多原因我们不能很好地观察这些模型的内部。但是把两个意想不到的东西放在一起并得到真正有效的结果，这确实是创造性的。我认为那是创造性的。但是，它在某种程度上让我想起，很久以前，70年代有一个数学发现程序，是这个叫Douglas Lenat的人做的。我记得它叫EURISKO。基本上它试图在数学中发现新想法。它明确地尝试把东西放在一起、粘在一起，它会生成成百上千个这样的东西。
其中大多数只是垃圾，但偶尔它会提出一些有趣的东西。必须由人类进去看，然后说：“这有趣吗？”机器自己无法判断。所以这里有多少是这种情况？我不知道。我觉得这里的区别是机器显然规模大得多，而且我不知道它在解决这个问题的过程中生成了多少推理轨迹的token，走了多少错误的路径，以及它如何判断自己走对了路。我的意思是，这些我认为是AI科学的一部分，而现在没有足够多的人在探索这些。
Strogatz：是的，让我们现在进入这个话题，因为那才是我真正想和你聊的。“AI的科学”这个说法很好。我想鼓励人们去看你那篇文章，Melanie，关于评估AI认知能力的六项原则。但作为预告，你能说说这六项是什么，并稍微解释一下吗？
Mitchell：当然。第一项是意识到你自己的拟人化认知偏见。我们倾向于把人类的相似性投射到用流利英语和我们说话的东西上。所以人们非常认为这些模型有人类般的特质，而也许它们实际上并没有。
第二项对科学家来说是非常常识性的。对假设保持怀疑并设计对照实验。这就像科学入门101，虽然我不确定它在科学中是否真的经常被贯彻。人们倾向于喜欢自己的假设。
第三项是为你的刺激材料或基准项目开发新颖的变体，以测试稳健性和泛化能力。
呃，第四项是这些系统不一定是黑箱。你可以用很多不同的方式探查它们，我们需要更多对为什么得到那样的结果非常好奇的人。
第五项原则是考虑表现（performance）与能力（competence）的区别，也就是你能展示你能做的和你能实际上做的之间的区别，在论文中我给了一些例子。
第六项是分析失败类型并接受负面结果。我们倾向于把负面结果的论文扔进抽屉里忘掉，但实际上它们可能非常有启发性。
Strogatz：我们所有人都对第六项有非常直接的体验，不是吗？当我们看到幻觉时，它会让你开始怀疑这些系统到底是怎么回事，而且确实，你从错误中学到很多。
Mitchell：是的，人们庆祝他们的正面结果，试图解释掉负面结果，但重要的是通过观察它失败的地方来真正理解发生了什么。
Strogatz：所以你在文章中给的一个例子，不是关于AI的，而是关于生物学或心理学的教训——微妙的事情可能在发生，你需要一个警觉而怀疑的头脑去注意到真正可能发生的事情。所以你能给我们讲讲“聪明汉斯”（Clever Hans）的古老故事吗？
Mitchell：聪明汉斯是一匹生活在20世纪初德国的马。聪明汉斯能回答算术问题。比如你问“14加12是多少？”它会用蹄子敲那么多次。看起来像一匹天才马。当时的人们，包括许多科学家，都非常确信这是一匹能做数学的动物，能数数，能像人类一样推理简单的问题。
人们非常兴奋。但后来一位名叫Oskar Pfungst的心理学家来了，说：“好吧，让我们在这里做一些对照实验。”我想对照实验这个概念在当时心理学中算是一种新想法。让我们看看如果它看不到提问的人，会发生什么。
Strogatz：好。
Mitchell：然后它就失败了。结果发现它做的是读取提问者脸上的细微线索。结果发现，如果提问的人自己也不知道答案，它也会失败。
因为提问者做的是对它的蹄子敲击做出反应，当它敲到答案时，提问者会发出一些无意识的信号，而它在读取这些信号。所以它是一匹天才马，只是不是在人们以为它天才的那些事情上。相反，它在读取人类面孔上的社交信号方面是天才。
Strogatz：所以在这个寓言里，当我们被AI做的某件看似天才的事情打动时，我们的教训是什么？我们应该做对照实验，还是什么？
Mitchell：对。比如，一个AI系统被证明非常擅长推理科学论文中的图表，我能想到一个真实的例子，它能回答关于图表的问题。但对照实验是：不展示图表，只给问题。看起来很疯狂，对吧？不看图表怎么可能回答关于图表的问题？结果发现这个AI能做这个任务，是因为问题中的词和正确答案之间存在某种虚假的关联。
Strogatz：所以这看起来像是做基准测试的人实验设计不好的案例，事后看来是这样。
Mitchell：事后看来，而且事后看来这在心理学和其他领域经常发生，我相信，糟糕的实验设计。实验设计是一件非常难的事情，有各种各样的混杂可能性。这就是为什么科学中的重复验证（replication）概念变得如此重要。如果一个团队做了一个实验并得到了结果，我们不一定应该相信那个结果。那个结果可能是由于他们实验设计中一些非预期的其他方面造成的。这就是为什么独立团队重复研究非常重要。这不是AI领域的人经常做的事情。
Strogatz：不，为什么不呢？是因为重复验证不太光彩，因为你是第二名，没有激励？这在科学的所有领域都是如此，对吧？
Mitchell：是的。我觉得这在科学的所有领域都是如此。但也因为我认为大多数AI研究是由背景是计算机科学或相关领域的人做的，那些领域不关注实验方法论。我是计算机科学家。我从没必须上实验方法论的课。我的系里从来没有提供过这样的课。它不被视为计算机科学的一部分，我认为这是当今AI讨论中缺失的东西之一。我们怎么能相信那些展示AI能做各种不同事情的实验和研究的结果呢？
[音乐播放]
Levin：引人入胜。所以在我看来，存在一个认知科学版本的观察者干扰，每个人都在谈论量子力学中的那个问题，对吧？观察者本身在干扰实验或实验的结果，这是一个非常有趣的角色。当然，聪明汉斯非常有名，我同意那是一匹非常聪明的马，因为能读懂社交线索。
但有趣的是，如果这也发生在AI身上呢？不只是实验者的角色在干扰，实际上是实验者的心理学在干扰。
Strogatz：是的。这是一个完整的维度，我们这些理论科学和数学领域的人没有受过训练，Melanie自己也坦承。你知道，我从没上过实验设计课。你作为物理学家，我猜测你上过实验物理课，但……
Levin：是的。它在我实际工作中没什么分量。我的工作真的不是实验性的。所以我不是一个善于设计好实验的人。
Strogatz：嗯，看起来这是一个非常现实的问题，因为如今AI公司经常使用基准测试来展示——或者说是评估——它们的系统在追求通用人工智能或超人智能的过程中进展如何，诸如此类。或者只是为了胜过其他AI公司。我们想知道这些新的机器学习系统和其他AI的能力是什么。
Levin：嗯，我想可能只是，我觉得我们真的不知道如何评估人类智能，也不知道如何真正了解一个人在想什么。我不认为我们了解自己。我不认为我们能很好地自我报告。我不能对你说：“哦，现在我在构造这句话的时候，这里面的运作是这样的。我听了它，这是过程。”我不知道，对吧？它只是自然的。它就那么出来了。我也不太能接触到内在的运作，我觉得AI也是这样。很多人说过，我在我们节目上和别的认知科学家、计算机科学家聊过，他们说AI很难回答问题，因为很多人说“你为什么不直接问它？”它也不能以准确的方式自我反思。
Strogatz：这个想法，黑箱的谜团。我们经常用黑箱这个词来形容AI，但当然，我们自己的智能是一个黑箱，不仅从我到你是这样，甚至从我自己到我也是如此，正如你强调的。但这让我想到魔术师是否有一席之地，因为你知道，魔术师或变戏法的人非常擅长向我们展示我们自己的心理物理局限。我们多么容易被愚弄，或者我们倾向于犯的那些认知错误，而且有类似于魔术师的人展示AI的缺陷和常识缺乏，对吧？他们在玩几乎像对AI变魔术的游戏。我想知道这些会多么具有揭示性，你知道，在严肃的科学意义上。
嗯，Melanie对AI认知和理解的深度还有很多可以说，还有它可能如何改变整个科学领域，包括数学。我们在休息后会听到更多。
[音乐播放]
Strogatz：欢迎回到《The Joy of Why》。今天我们请到的是圣塔菲研究所的计算机科学家Melanie Mitchell。
Strogatz：你大半生都是大学教授。当你和学生一起工作时，他们能答对问题，但当你开始探查他们真正理解了什么，你会开始意识到他们可能是出于错误的原因得到了正确的答案。他们并不真正知道自己在做什么，如果你想做一个有帮助的老师，这一点很重要。这又引出了另一点：能力（competence）与表现（performance）。你能展开讲讲这个想法吗？在AI情境下它意味着什么？
Mitchell：能力和表现是心理学和语言学中一个相当古老的区分。这个想法是，你可能拥有某种特定认知能力的能力（competence），但可能有某些原因导致你无法完成我给你的任务。比如他们有这个能力，他们能解决问题，但他们只是情绪上僵住了。有一些表现的障碍。
但也有另一种情况，是没有能力的表现。比如在办公时间里的那个学生，可能记住了教科书里的一个问题和解法，但他们不理解一般原理，所以如果你给他们一个略有不同的问题，他们就不会做了。那就是没有能力的表现。
Strogatz：好的。那么如果我们说我们试图找出方法来测试AI是否理解，什么可以算作证据？假设你是一个AI倡导者，说这些新系统，因为我们扩展了它们或者因为我们有了带世界模型或社会模型之类的漂亮新架构，我们现在已经跨过了一个门槛，它们真的理解了。不只是它们能计算，它们理解。什么可以算作理解的证据？
Mitchell：哦天哪。我不想在“理解”上变得学究气，但它的含义太多了。
Strogatz：啊。
Mitchell：我们在圣塔菲研究所有个来自哲学家的讲座，他把理解分解成25种不同类型。
Strogatz：啊哈。我提问之前不知道我自己会陷入什么。
Mitchell：所以有P理解和G理解之类，还有非常长的理解的分类学。我不确定是否存在某种单一的真实理解的概念。我最近和合作者在做的一件事是研究理解的不同维度。一个例子是你可以让这些语言模型或聊天机器人生成一个故事。就让它生成一个关于某事的短故事，它们会的。它们会生成一个非常优美、连贯的小短篇故事。但如果你开始问它们关于这个故事的问题，它们经常以奇怪的方式失败。
Strogatz：嗯。
Mitchell：尽管是它们自己生成的。而且我认为在很多不同的任务中也是这样，它们在一个维度上理解，但在另一个维度上不理解。在某种意义上，深度理解可能就是你在很多不同的维度上都理解。
Strogatz：啊哈。这听起来是个有前途的方向。让我们多谈谈任务，因为“任务的暴政”这个说法我在你的一些文章里看到过。那是怎么回事？
Mitchell：我最初是从哲学家Shannon Vallor那里听到的。这个想法是，在AI中，世界是按照任务来划分的。当我们思考AI系统能做什么时，人们说：“哦，它们能做总结。让我们测试它们总结文章的能力。”或者“让我们测试它们回答关于图表的问题的能力”，或者其他什么基准。
Strogatz：嗯，我的意思是，这些天它们经常在国际数学奥林匹克上被基准测试，非常难的高中问题，然后有研究水平的问题。现在有数学中未解决的开放问题。这些就像是存在于那里的三个层次的数学基准测试。
Mitchell：对，它们的能力是根据这些基准来定义的。你知道，一个基准可能是法律学生的律师资格考试，它们在律师资格考试中做得非常好。于是我们说：“哦，律师们，你们该害怕了。你们的工作受到威胁，因为这些AI系统快赶上你们了。”但是，我们定义这一点的方式是看它们在一组特定问题或任务上表现有多好。而作为一个整体的工作，并不等同于一个接一个独立任务的简单相加。我认为这几乎是一个谬误：如果一个AI系统能做一堆任务，它就能做与那些任务相关的那个人的工作。
举一个例子。Geoffrey Hinton有一句著名的话，大意是：“AI系统在诊断或解读放射学图像方面非常出色。没有人应该再去上学当放射科医生了。AI会在五年内抢走所有工作。”
那是2016年。那是10年前了。现在我们实际上缺少放射科医生。我不知道是否因为他那样说，但呃，事实证明，尽管AI系统在这些基准测试上能击败人类医生，但这不等于在现实世界中做这份工作，后者要开放得多，不只是明确定义的任务序列。
Strogatz：尽管如此，这确实让你想知道，比如在放射学的情况下，你可以想象如果它们真的擅长那个任务，那么人类放射科医生还剩下什么？我们还应该留在这个游戏中吗？比如在我自己的数学世界里，你知道，如果它们非常擅长证明定理，但还不太擅长提出新概念，或者像我们有时说的理论构建，对吧？问题解决和理论构建之间有重大的区别。所以是不是我们将会找到我们的生态位，我们做它们不做的部分？比如在放射学的情况下，人类有开放式的部分但没有读扫描的部分？我想这就是我想知道的。
Mitchell：是的。
Strogatz：事情会这样发展吗？
Mitchell：也许吧。如果你的工作因为这些新工具而改变很多，我一点也不会惊讶。它们将成为对数学家来说极其有用的工具。所以它可能会改变你的工作。就像个人电脑刚出现时那样。不过有一本很棒的书，George Lakoff和Rafael Núñez写的，关于数学和数学中的想法从哪里来，通过隐喻。他们认为人类具身化是理解和数学的一个非常重要的部分。
Strogatz：正是。我认为那是我们唯一的希望，因为现在它们机器没有很好的具身性。你说得对，很多数学的伟大想法是受世界经验的启发的。这就是我想说应用数学的，我觉得比纯数学更是如此，我们从自然、工程和社会中得到如此多的灵感，所以我认为我们作为人类在应用数学中更有机会发挥作用。
但我确实认为纯数学会比应用数学先消亡，也许两者都不会。也许我们会永远继续下去。在你看来是怎么样的？我是说，数学常被认为是某种黄金标准，不是吗？AI公司对数学有很多用，对吧？它们能展示它们的系统有多好，因为可以验证它们是否解决了问题。
Mitchell：嗯，我有一个很大的问题，假设你的预测成真了，纯数学在某种意义上是为人类消亡了。这对其他领域意味着什么？这是否意味着这些机器正在走向接管一切的路上？还是更像1997年或那前后Deep Blue击败Kasparov那样，实际上在象棋中击败最好的人类并不一定意味着它会在其他领域有所进展。
Strogatz：我不知道。你怎么看？对我来说，感觉科学比数学开放得多，在那个意义上。
Mitchell：是的，我相信这一点。我不认为解决所有Erdős问题意味着普通人要担心自己的工作。
Strogatz：好的，那时我们桌面上有很多不同的东西。但即使在纯粹的天才世界里，无论是科学家还是数学家，仅仅生物学上就有太多东西可以测量，我们有太多可以收集但还没收集的数据，太多新的观察方式。我是说，对我来说那似乎比数学更取之不尽。
Mitchell：我同意。即使在物理学中，我认为它可能更接近数学，也有很多开放性、没有被很好表述的问题，没有像可以被构造的证明那样的东西。
Strogatz：但所以，我确实觉得数学的希望是继续从现实世界获取灵感。von Neumann也说过类似的话，当数学变得太为艺术而艺术，当它漂离源头太远，对他来说源头是自然或现实，如果它变得太遥远就会变得贫瘠，von Neumann说。
所以我认为如果纯数学开始更多地从自然获取灵感，这可能是一个非常好的时代。在20和21世纪这种情况比较少，但我认为如果我们回到那种状态，我们大概还能为人类在数学中的乐趣争取几个世纪。
Mitchell：我只想说AI中有一条格言：“容易的事情是难的，难的事情是容易的。”
Strogatz：对。
Mitchell：纯数学被人类视为最崇高的智力与才华展示。那是难的事情，然而我们知道难的事情对机器来说更容易，容易的事情更难。
Strogatz：是的，还有“软”这个词，对吧？在科学中我们谈论硬科学和软科学，经济学、心理学、人类学这些软科学，那些才是真正难的。
Mitchell：对。
Strogatz：好吧，如果我们五年后再见面。
Mitchell：《The Joy of Gamma》，或者别的什么。
Strogatz：是的，到那时《The Joy of Omega》，对吧。你希望到那时我们对AI系统理解了什么？或者我们希望能够做哪些今天不能做的测试？
Mitchell：是的，我是说，我真正希望在AI科学中发展顺利的是这个叫“机制可解释性”（mechanistic interpretability）的领域，它是神经科学的对应物，你真的去看激活、权重、所有那些系统内部乱七八糟的东西，并从更高层次理解它们在做什么。
如今它有点像一个小众子领域，人们在开发做这件事的工具，类似于fMRI之类的东西。而且我不认为有人真的想清楚了如何以正确的方式做这件事，但我希望这是我们能实现的，那样我们就会有真正的方法来理解它们的局限、它们能做什么、不能做什么、它们可能犯什么类型的错误，也许还有如何修复它们。
Strogatz：有趣的是你指到了那个，因为我第一次知道你，就是在那个广泛的意义上。我想起的是你过去曾经研究一种行话里叫GA for CA的东西，用于元胞自动机的遗传算法，你和Jim Crutchfield在看这个演化算法的问题，让算法能解决某一类问题，困难的计算机科学问题，你用这个进化算法来选择越来越好的算法，通过一种选择过程不断改进。
但接着你做的让我觉得特别有创造性的部分是，一旦你得到了一个真正好的系统，你用我觉得类似于机制可解释性的方式去观察它。你试图看到是什么让那个系统如此聪明，用粒子按一定规则在图中碰撞的方式来分析它。我不知道我总结得是否够好，但这似乎是你一个长期的兴趣。
Mitchell：是的，确实。我没有精确地建立过这种联系，但这很有意思。
Strogatz：但这确实是，这是可解释性。
Mitchell：这是可解释性。而且我认为，在复杂系统领域，人们也谈论涌现（emergence）这个概念。
Strogatz：是的。
Mitchell：我们把它看作一种涌现计算。我认为这些AI系统也有涌现计算，不容易发现，但它们就在那里，如果我们更好地理解它们，我们就能理解系统如何真正运作，做它做的事情。
Strogatz：是的，这是一个有趣的态度。老实说，这让我觉得非常可爱，非常老派。这种希望……好吧，你在笑了，因为你看到我要说什么了。我要说的是一件刻薄的话，但这个自负的想法是，我们这些心智有限的人能继续做科学，你知道，我们会搞清楚这些AI是怎么做它们所做的事情的，那就是我们的游戏将继续像在科学中一直以来那样。
而我阴暗的一面认为，随着这些设备变得越来越大，我们做这件事的日子已经屈指可数了。谁说我们能继续对它们做科学研究、搞明白它们？你对这个有什么反应？
Mitchell：我们别无选择。我们必须尝试。
Strogatz：这是一个有趣的问题。嗯，我们为什么首先做科学？我是说，你知道，我们做科学是因为我们想解决问题。那是一个原因。但我们做科学也是因为我们有理解事物的驱动力。
Strogatz：是的。
Mitchell：你在小孩子身上看到这一点。他们有理解的驱动力。他们最早学会的词经常是“为什么”。他们不停地问。所以我认为这是人类的一种驱动力，很难对抗它。这就是为什么你和我都进入了科学，它对我们很重要。
有一次我在一个关于AI在科学中的角色的小组讨论会上，我有点绝望。座谈会上有一群名人谈论AI将如何彻底改变天气预报、遗传学、宇宙学，等等等等。最后我问他们：“那么，这会促进人类对世界的理解吗？”他们说：“我们为什么要在乎那个？”
Strogatz：是的。对我来说，这就是我们现在都在思考的分岔。因为科学有这个双刃剑的方面，它给我们快乐，我们喜欢弄明白事情，有“为什么之乐”，正如你所说，它深深植根于我们的物种。所以是的，我们好奇，但另一方面，长期以来科学一直是帮助我们的技术和医学的工具性东西。
我想我的问题，也是我们很多人想问的，是当我们不再是最擅长解决重要问题的时候，我们还会继续从好奇心中获得快乐吗？但让我问你最后一件事情，对于那些没有听过我们之前对话的人，你当初是被什么吸引到这个领域的，如果你今天重新起步，你觉得你会有同样的好奇心吗？
Mitchell：是的，这是个好问题。小时候我喜欢逻辑谜题，比如骑士和无赖。骑士总是说真话，无赖总是说谎。数学家Raymond Smullyan写了几本有趣的书，关于这个类型的谜题，我非常喜欢。
当我上大学时，我读了Douglas Hofstadter的书《Gödel, Escher, Bach》，在某种程度上是这些的现实版本。我是说，他谈到了哥德尔定理和数学逻辑中的悖论，以及这一切如何与认知、思维、创造力等相关。我完全被震撼了，这就是我这辈子想做的事情。我不完全知道那是什么，但看起来可能是人工智能。所以我追着Doug做了我的导师，加入了他的小组，通过一套新的谜题——类比谜题——来研究类比。我对那些非常着迷。
如果我是今天的那个年纪，我会担心的。事实上，我有一个儿子正在读机器学习的博士，他想做机器学习的研究，但他实际上相当紧张，因为人类在机器学习领域做研究的角色可能不再存在，因为AI会做所有机器学习研究并自我改进等等。我不知道我会不会也这么想。我不知道。
Strogatz：也许我们确实需要在五年后重新讨论这个，因为到那时我们可能就知道了。鉴于一切进展如此之快，谁知道呢？我非常感谢你抽出时间和我们交谈。这是一次范围很广、有点模糊的对话，但它非常开放，我想不出有比你更好的向导了。非常感谢你加入我们。
Mitchell：谢谢你，Steve。很棒。
[音乐播放]
Levin：嗯。嗯。我只记得我当学生时第一次学牛顿定律，然后是开普勒定律，它让牛顿定律变得美丽，这个对天体周期的应用。我没有想过“哦，我不是最擅长这个的，所以我不应该学它。”我也没有想过，除非有一天我成为这方面最厉害的，否则我不能在获取这些信息的过程中感受到快乐或愉悦。
当然，很多人研究别人已经知道并且更擅长的东西。所以我有点想知道，也许AI会比我们先知道事情，但我们仍然需要自己获取理解，而在获取的过程中有一种类似的体验。也许AI会成为我们和直接询问自然之间的过滤器，但我们仍然会获取知识并拥有那种体验。我不确定。也许这一切都会从我们身边溜走。
Strogatz：我——嗯，让我们多探索一下这个。我特别喜欢你对不是最好的强调，以及在某种方式上，那是没有负担的。我上大学时很快就知道不是最好意味着什么。你知道，这种对成为第一的执着，尤其是在一个优化的时代。有这么多优化算法。我们谈论更快、更便宜。但在我们自己的生活中，我们经常不是最好的。我当然不是最好的网球手，但我喜欢打网球。我不是最好的棋手，但我仍然乐于下棋。试着做最好的爸爸，但我可能不是。但所有这些事情都值得为了它们本身而做，对吧？它们给我们快乐。
我确实觉得这很哲学，几乎带有宗教性。比如，我们在地球上有一点活着的时间，你知道，这些关于AI的问题确实触及了关于生命意义的问题。我们试图做什么？如果生命的意义是你将成为某个领域最好的，或者你将做出一个改变世界的发现，那么大多数人将拥有无意义的生活，而我只是不想相信这是生命意义的正确版本。
对我爸爸来说不是。他甚至没能上大学。你知道，他在大萧条中长大。那不是选项。他的生活是做一个好父母，照顾那些在他鞋店里买鞋的人。他知道我们小镇上每个人的鞋码，他死的时候留下了一个好名声。人们很好地记得他。
Levin：对。
Strogatz：所以好吧。那在我们这个关于科学的节目里做什么呢？
Levin：嗯，我想让我们说，对某些人来说生命的意义与获取有关，获取财富。他们会喜欢这些东西的，对吧？因为会有这个新工具，简单地利用各种各样的按钮，他们现在可以更快地访问、利用并获取更多财富。
有些人从唱歌、写诗、写小说或做数学中找到意义，而且我认为所有这些领域都有一点紧张，对吧？关于重新评估他们将会有什么位置，以及如何确保那个位置，如何思考它。
如果我在玩可能发生或不发生的游戏，我的意思是，仍然有一个世界，AI就像一台超级计算机，我们以前谈过这个，Steve。仅仅因为一台超级计算机能处理所有这些数字，如果它把结果作为一串符号呈现给我们，那么即使它在某种意义上有答案，对我们来说也不是一个有意义的答案，而我们没有人重视它。
作为人类，我们仍然在超级计算机渲染一个星系的图像或看一个生物医学神经图谱的图像之间扮演着一个非常重要的角色。它实际上并没有剥夺科学家的工作。所以也许它真的会继续是一个工具，而不只是超越我们并抛弃我们的东西。
Strogatz：嗯，这就是问题所在，对吧？我认为有两种合理的场景。一种是它继续是一个工具，我们总是在科学和数学的前沿扮演某种必要的角色。另一种选择是，而且实际上在我心里我相信这才是事实，我们将不在前沿，而且这将很快发生。那么，意义在哪里呢？
然后我觉得它仍然有意义，就像我高中时发现了一些关于数学的东西。那些对我来说是发现。它们对世界来说不是发现，你知道？我想我们可能都得接受这一点。我们不会为世界做出真正的发现了。
AI会做那些。我真的相信这会很快发生。我可能是错的。我的意思是，可能有根本性的原因导致AI做不到那些。比如，它们没有身体，它们没有社交生活，你知道，有很多……但我只是认为所有这些东西都会在不久后被解决。无论如何，你的看法是什么？
Levin：嗯，我认为发现和理解之间是有区别的，我想这就是我在例子中想表达的意思。在某种意义上，也许是超级计算机比人先做出了发现，但我们仍然说是那个人做出了发现，因为在他们以人类能理解的方式呈现它之前，这个发现不算是发现。
但是，我老实说不知道。我并不非常悲伤或悲观，所以我想我不得不说我心里直觉上并不害怕这个前景。也许我应该害怕，但也许这只是天真的幸福，我就等着它悄悄靠近我。
Strogatz：有一件事我认为我们可以非常乐观和有希望，那就是我认为我们将会有一个辉煌的科学黄金时代，我们会理解，AI的发现或人与AI合作做出的发现，这些都将在未来五年、十年、十五年发生，那将是科学的一场壮观的烟花时刻。而且我认为希望运气好的话，我们会活着看到这一切。
Levin：是的，肯定会有一个过渡期，人们快速而热烈地推动着它，他们是故事的一部分，有伟大的成就，看到这些会令人兴奋。我认识很有成就的人，他们对使用它非常兴奋。每天都用。他们有多个项目在进行，他们觉得自己的生产力翻了一倍甚至更多。他们很兴奋，他们很享受。我觉得我们真的无事可做，只能参与进来，至少在过时之前的这个过渡阶段是这样的。
Strogatz：嗯，想到这些我都哽咽了。谢谢你，Janna。每次见到你都很棒，我们下次《The Joy of Why》再见。
Levin：谢谢你，Steve。
[音乐播放]