思想看到了宇宙起点，身体还没离开地球——AI时代的两种文明
作者注：这是我们关于未来经济系列文章的第一篇，也是一个容纳独立声音探索AGI未来的新平台的一部分。本文仅代表我们的观点，不代表OpenAI或其同事的看法。
人类几乎已经看到了时间的起点。我们的方程从宇宙的最初时刻起就讲述了一个大体自洽的故事。借助望远镜，我们望向了宇宙的深处，瞥见了它的早期历史。我们知道恒星的诞生和星系的形成。然而，从来没有人类踏上过月球以外的旅程。我们寻求的解释跨越整个宇宙，而我们的身体几乎还未离开家园。我们的思想远远超出了我们双手所能触及的范围。
这种错位可能意味着两种截然不同的事情。
一种可能是，我们根本不需要走得太远——最深的真理或许可以从一颗行星上领悟。凭借开明的理性和高效的仪器，我们无需穿越宇宙就能揭示宇宙的秘密。在这个故事里，我们的文明通过深度而非广度取得进步。这也有助于解释为什么我们还没有看到其他智慧生命：我们可能生活在一个充满杰出头脑的星系中，而它们从未需要扩张，也因此从未引起我们的注意。
第二种可能性则更加令人生畏。我们的思想可能只是超出了我们的执行能力。每一步都需要更多的时间和更多的资源。我们不缺梦想，但缺乏实现梦想的人力。
伽利略用两片透镜和一根管子拓宽了人类的视野。今天要再次拓宽视野，人类建造了詹姆斯·韦布空间望远镜——一个耗资一百亿美元的天文台，折叠在火箭里被送到一百万英里之外。它的十八面巨大镜面段被加工到五十纳米的精度。这座天文台诞生于十四个国家的三百个组织。伽利略的贡献只需要几十双手。韦布则需要一支大军，以及其背后的全球经济。
看清更远的地方，不仅需要更聪明的头脑，还需要更庞大的官僚体系。
进步需要支撑系统
我们追问的比能调查的多。我们设计的实验比能运行的多。我们想象出的创造性可能比能实现的多。而在许多领域：我们走得越远，建造我们想象之物就变得越复杂。
Nick Bloom 及其合著者研究了美国经济中的研究生产率。维持摩尔定律如今所需的科研人员数量是1970年代初的十八倍以上。从1930年代起，整个经济体的有效研究投入增长了二十三倍，而衡量的研究生产率却下降了四十一倍。
技术人员队伍的增速是科学家的两倍。科学中专用设备的使用率在四十年间翻了一番。今天的一座芯片工厂比三十年前贵五倍——而且是一个庞大得多的运营系统。
这些统计数据暗示着进一步进步的成本在上升。经济之所以仍在前进，是因为研究事业的巨大扩张弥补了每个单位递减的产出。
进步的要素
那段历史应该让我们重新思考天才：不应在真空中看待天才，而应将其视为生产过程的一种投入。一个卓越的假设仍然需要证据、仪器和实现它的手段。没有机器和支持人员将其变为现实，一个想法还不算进步。
当一种投入的增加提升了另一种投入的价值时，经济学家称这两种投入为互补品。前沿智能与实现其想法的能力在这种意义上就是互补的。更好的望远镜让一个优秀的天文学问题更有价值。一个更好的问题让望远镜更有价值。
有些互补品是物理性的。一个理论要等待粒子加速器；一个技术设计要等待建造它所需的能源和机器。
另一些互补品则难以用肉眼看到。一个想法本身是脆弱的东西。它需要各种制度。法律、官僚机构、资金机制、供应链，以及许多其他东西，共同协作才能执行这个想法。
一个伟大的想法必须在一长串正确的局部行动中幸存下来，穿越所有这些制度。我们称之为制度智慧：那种不被颂扬的执行智慧。天才设计纪念碑；制度铺设石头。一个才华横溢，另一个看似乏味；但两者都至关重要。
我们有时把超级智能想象成十亿个爱因斯坦。但一个拥有十亿个爱因斯坦的文明，仍然需要其中大多数人去开采矿山和管理账目。前沿创新只有在外围的普通世界无缝运转时才能发生。进步依赖于每一个人——从为望远镜拧上一颗螺丝的焊工，到为一所小学承保的保险公司，而那所小学教出了一位护士，这位护士又治疗了一位天文学家。进步建立在一个运转良好的经济之上，而在我们最伟大功绩的叙事中，这种经济常常被忽略。
与人类智能一样，AI也将被引向卓越洞见和制度能力两个方向。问题是它会把大部分时间花在哪里。
今天的瓶颈
AI已经在让执行变得不那么稀缺。它写代码，检索陌生的文献，把草图变成可用的原型。曾经需要一个完整组织才能推进的想法，如今越来越可以由一个有雄心的人来完成。
大多数有抱负的电影制作人从未得到两亿美元来放手一搏。大多数游戏设计师终其职业生涯都在实现别人的创意愿景。我们试图提拔最有天赋的人，但不可避免地会错失人才。从这个角度看，智能时代始于对人类创造力的补充，让更多的人拥有支持团队来构建自己的想法。
这可能会产生大量独特的项目，更多创造性工作在那些曾经充当领域守门人的制度之外完成。稀缺的投入从执行转向品味——决定什么值得做、哪个问题值得问、上千条看似合理的道路中哪一条值得追求的能力。
但这可能不是故事的终点。随着AI能够自行产生卓越的新洞见——我们在数学等领域可能已经看到了——它既提供劳动力，也提供议程。它不是执行一个人类研究计划，而是设计出成千上万个自己的计划。AI天才使值得开发的电影概念和值得检验的假设数量爆炸式增长。想法产生得比支撑基础设施能够吸收的速度更快。
今天的AI提供了一场期待已久的喘息：我们好的想法终于得到了应有的回报。明天可能会有太多好的想法，以至于我们比以往任何时候都更加缺乏执行力。
两种文明
我们最终不知道，将新洞见转化为有效产出所需的互补品会增长、缩小还是保持稳定。仅靠思考能取得多少智识进步？才华需要多少官僚机构？
在我们看来，答案取决于思想在必须与现实重新接触之前能走多远。
我们描述两条可能的路径。第一条是深度文明，在其中超级智能超越了更多物质资本和官僚协调的需求。第二条是广度文明，在其中自然的复杂性超过了任何智能——无论人类还是机器——在不对现实世界进行大规模且日益精细的实验的情况下取得进步的能力。
人类历史迄今暗示了对互补能力不断增长的需求。伽利略的望远镜握在手中；韦布需要一整个文明。贝尔实验室的一个小团队在工作台上造出了第一支晶体管；前沿芯片的进步现在来自一条错综复杂的全球供应链。更远的探索不断将更多的文明卷入其后。
但那段历史不一定是宿命。聪明的头脑可以发明更高效的互补品。如果能源成为新型粒子加速器的瓶颈，才华可以设计出更精简的加速器，或者更好的能源获取方式。
天才也可以替代部分互补品。爱因斯坦几乎不需要什么经验数据就能思考出相对论。我们就需要多得多的数据。有些人能记住自己所有的日程——大多数人则依赖Google Calendar这套官僚系统。
天才还可以最大化品味，选择最值得检验的假设，避免浪费性的失败。如果每增加一个天才都能提高计划的质量，那么即使需要越来越庞大的官僚体系，我们仍然会大力投资天才——正因为执行力太昂贵，不能浪费在错误的事情上。
两条路径都不会完美地描述我们的真实未来，但可以把它们看作我们文明的两个方向性可能。
深度文明
智能可以通过三种方式推进知识。它可以从原理出发进行推理。它可以从现有证据中提取新的洞见。或者它可以通过观察和干预世界来收集新证据。
第一种模式可以仅凭思想走得很远。数学是最纯粹的例子。在一个证明或项目的许多岔路口，一个强大的头脑可以持续做出正确的选择。它用一条更短、更定向的推理链取代了多年茫然摸索。
第二种模式同样是一片快速进步的处女地。人类收集的证据远远超过我们已理解的。对我们的数据的研究——天文影像、显微镜载玻片、在线评论区——一直受到人类智能稀缺的限制。科学档案中储存着为回答某个问题而记录的数据，而这些数据可能包含着其他许多问题的答案。丰富的天才可以不去收集任何新东西，而是通过看到本来就在那里的东西来发现。它可能不需要收集一个光子就能发现一个新宇宙。
第三种模式就没那么容易了，因为它要求我们与物理世界互动。物理过程需要时间，通常没有什么办法加速。化学物质必须反应。生物体必须生长。机器必须建造。航天器必须跨越真实的距离，受制于宇宙速度极限。即使是一个完美的头脑，也无法观察一个尚未发生的实验的结果。
但它可以尝试。深度文明不会逃避咨询现实的需求。它会变得极端节约地这样做。更好的推理会识别出少数真正重要的实验。模拟会解决大多数问题，并定位现实必须裁决的那个精确的不确定性。超级智能可以最大化效率，围绕稀缺资源进行设计，从中获得最大价值。
设想一个天体物理实验室，里面有关于暗物质的一组假设。这些假设首先被送入超写实的计算机建模。每个理论都检查与所有现有数据的一致性。只有在这之后，才拍摄几张有针对性的天空新快照来检验最有希望的理论。文明仍然需要天才的互补品，但每个单位的产出价值要高得多。
我们通向深度文明的道路可能像拼图一样运作。开始容易，结束也容易，中间最难。一开始有显而易见的边缘和轻松搭配的拼块。然后这些用完了，而拼图的整体画面还没有组装出足够多来指导剩余部分。接近尾声时，剩下的缺口几乎会告诉你什么拼块属于那里。一门接近完成的科学，其最终的发现可能比我们今天艰难求索的发现来得更容易。
这是科学的常态。门捷列夫能够描述未发现的元素，因为周期表的其余部分约束了什么缺失。标准模型让物理学家有理由在观察到希格斯玻色子之前几十年就期待着它。我们的实验是有针对性地寻找我们预期会看到的东西——与现有理论和数据一致的东西。
超级智能或许能够通过如此深刻地理解世界的模式，精确地知道它需要什么新数据，从而成就一个深度文明。它将通过更深的思考推动进步，而不是依赖物质扩张的缓慢步伐。
如果这些效率占据主导，文明就能迅速加深对自然的掌控，而不需要那么多制度智慧来管理庞大的新实验装置。它的物理足迹可能保持很小，而它的智慧日趋成熟。
我们人类在不离开家园的情况下已经对宇宙有了如此多的了解。深度文明将是这一传统的延续。
广度文明
但对新证据的需求可能会压垮这些效率。智能可能使每次咨询现实变得更便宜，同时却发现更多值得咨询的理由。更好的仪器打开了更精细的前沿。更快的实验使更多实验变得值得做。
如果爱因斯坦通往相对论理论的几乎纯粹的认知路径是深度文明的典型代表，那么生物学或许最能预示广度文明。尽管我们积累了大量知识，汇聚了大量数据，新药仍然必须在大量人类身上测试，才能知道它们是否安全有效。机器现在可以模拟生物过程，让生物学家可以在计算机中而非物理实验中测试新药，但这些数字模拟对真实世界的保真度还不足以替代大规模人体试验。机器产生的候选越多，实证检验就越成为瓶颈。
在广度文明中，仅有才华不足以取得进步。我们对物理资源——以及管理其使用的官僚机构——的需求，增长速度超过了聪明头脑在二者上节约的速度。
即使未来AI系统大大超过人类智能，这可能仍然是我们的道路。超级智能可以在一个下午设计出一个世纪的实验，然后用一个世纪来等待自然和机器完成它们。在这样的世界里，将智能投入到执行想法所需的制度流程中，比投入到构思本身更有价值。
如果每一步都需要越来越多的支撑基础设施，这种效应会不断累积放大。
在这里，我们会看到相对更少的思考，相对更多的建造。实验室自动化。工厂成倍增加。能源产量上升。制度智慧主导着这一切的发生。物质扩张成为知识的引擎，文明扩散开来，因为它的问题的规模已经超出了获取答案的手段。更多的材料、更多的能源、更多的数据来维持前进。
戴森球是这种未来的一个极端图景。建造一个戴森球需要非凡的突破，但这个项目的大部分并不由突破性思考构成。它将是在天文尺度上的建设和物流。
戴森球需要杰出的头脑来绘制蓝图。它也将是有史以来最重复、最单调、最具组织挑战性的项目之一。
这不是智能的失败，而是其成功的后果。更聪明的头脑发现更多有价值的项目；更复杂的项目需要更多的物质来执行。
如果是这样：超级智能的超能力可能不是它的天才。而是它愿意成为官僚机构，协调将想法以越来越大的规模转化为现实所需的大量技术和制度机器。
几乎所有的机器智能将被部署去做的，不是杰出之事，而是无聊之事。
自然对物质扩张的速度限制随后可能成为进一步进步的瓶颈。建造采集恒星能量的机器是一个关于物质的项目，无论计划画得多快。在它之外还有其他的恒星和其他星系，而距离（就我们所知）本身就是一种节流阀：没有船能超光速航行，没有信号能超光速返回。广度文明是一个缓慢的文明。它的巨大变化可能相隔数千年，甚至数百万年。每一步都更久。
农业和工业的革命，将像一段更漫长历史中疯狂的开篇，而后续的进步速度要慢得多。
人类好奇心的位置
未来AI系统很可能在产生前沿洞见和协调将这些洞见变得实际有用的资源这两方面都超越人类。但这种可能性并不会降低人类好奇心的重要性。
第一，我们对启蒙的责任依然存在，即使机器更擅长它。宇宙中可能已经存在远比我们更聪明的头脑，拥有超出我们理解的科学和道德问题的答案。但我们仍然尝试自己去理解世界。另一种智能的到来——即使是我们自己建造的——并不会改变这一点。在我们确定人类没有任何独特贡献之前，放弃就浪费了只有我们能给世界增添的东西。我们的责任仍然是继续提问并尝试回答。
第二，相对于制度智慧，我们可能在前沿智能上拥有比较优势。这意味着即使我们在两者上都更差，我们在前者上相对更好，并专攻于它。人类表现出偏好创造而非例行公事，而机器人没有表现出这种偏好。
第三，我们从多样性中获得价值。即使机器能模拟大多数人类思维，如果我们保持某种独特性，我们就能提供创造性的多样性。大部分机器智能会留在它自己的自我维持装置中，但一小部分将按我们的创造性意志被部署。整体的一小块，但对我们的范围来说已是奢侈，远多于我们今天拥有的资源。
创造力不是孤独的东西。它需要世界，天才需要建造者来实现它的创意愿景。
今天人类智能的很大一部分用于将想法转化为现实的默默无闻的工作。机器头脑将继承同样的依赖性。它们不可能都是光芒四射的智者。它们也必须成为官僚。
我们未来的故事——及其进步的步伐——取决于伟大的头脑是需要更多世界，还是用更少做更多。