三位研究者：AI改变社会的真正瓶颈，是制度和人类
作者：@sayashk、@RishiBommasani、@random_walker
我们正在成立一个非营利研究组织：STABL（Societal Transformation and AI Bottlenecks Lab）。适应先进 AI 将需要剧烈的制度变革和广泛的社会韧性。它还需要关于 AI 进展和影响的证据——递归自我改进（RSI）的前景、AI 扩散的速度，以及制约 AI 能力转化为社会成果的瓶颈。
我们的世界观由四个论点定义：
1. 我们认为先进 AI 是一种具有广泛社会效益潜力的变革性通用技术。
2. 然而，我们认识到社会转型的速度将更多地受制于人类和组织变革的速度，而不是能力进步的速度。
3. 我们的制度——我们组织知识、工作和治理的既定方式——在这一动荡时期是重要的稳定来源，但也需要认真改革以继续发挥作用。
4. 我们主张用广泛的防御组合来管理 AI 风险，其中对齐只是其中一部分。韧性——今天最被忽视的部分——必须成为核心。
另一种表述我们的世界观的方式是把它放在一个 2x2 图表上。纵轴表示是否认真对待 AI 的变革潜力。横轴表示是否认真对待 AI 影响的下游瓶颈。左上角是技术决定论：认为超级智能将单方面通过消除下游瓶颈来改造社会。许多 AI CEO 表达这种观点，例如预测一个世纪的价值将在未来几年内被压缩。
这种观点常常忽略组织、监管和社会瓶颈对如此转型的制约；在这种观点看来，这些问题毫无意义，因为超级智能是全能的。令人惊讶的是，AI 行业一些最强烈的批评者也持有这种世界观，他们把减缓 AI 能力提升作为保护社会免受 AI 危险的主要方式。
相反的观点，在图表右下角，将现有组织、流程、职业和治理视为固定点，并坚持技术必须适应它们。持这种观点的人经常研究 AI 采用的限制，保护现有结构免受颠覆。他们擅长识别和利用阻碍 AI 影响的瓶颈，例如监管、职业规范、组织惯性和政治阻力。
放缓变化速度可以为塑造技术影响赢得宝贵时间。但当维护现状本身成为目标时，它就阻碍了技术驱动的社会进步。（例如，考虑对自动驾驶汽车的抵制，尽管它们比人类更安全，或者对 AI 法律建议的禁令。）
STABL 属于右上象限。我们认真对待前沿 AI 作为变革性技术，同时认为制度——无论是新的还是现有的——在帮助社会驾驭转型方面扮演重要角色。
例如，我们应该如何理解和改善 AI 对医学的影响？许多技术决定论者声称超级智能将迅速治愈几乎所有疾病。持相反观点的人可能会回应说，瓶颈不在于药物发现——AI 很可能加速这一过程——而在于临床试验，由于法规和安全风险，临床试验需要多年时间。
这一回应正确识别了 AI 影响的瓶颈。但这往往被视为对话的结束。在我们看来，理解 AI 影响的瓶颈只是分析的起点。下一个问题是，药物测试能否变得更快、更高效，从而切实实现 AI 的益处。例如，计算机模拟测试的障碍是什么？我们如何重新思考监管机构和流程？不幸的是，两个极端都没有密切关注这些关键问题。
需要明确的是，STABL 并不是右上象限的唯一组织；我们的许多工作建立在其他既认真对待 AI 潜力又认真对待其下游瓶颈的组织和思想家的基础上。但与其他象限相比，这个象限的思考稀疏，这导致了那些认真对待技术或瓶颈的社区之间的两极分化。我们的最终目标是为此象限贡献一个丰富的智识议程，为新组织创造空间，并与本象限及其他象限的现有组织合作。
我们的研究议程
右上象限引导我们进入许多有趣的研究方向。一方面，我们预计 AI 能力将继续快速提升，这促使我们对进展速度和 RSI 进行实证研究。我们预计高能力的 AI 模型将继续广泛可用，这促使我们分析和倡导超越对齐模型和不扩散的风险缓解措施。
另一方面，我们认为制度对于引导社会向先进 AI 广泛传播的世界过渡很重要。这使我们关注理解先进 AI 采用的下游结果。我们计划衡量具体的收益和危害，研究劳动力市场及其他领域的颠覆，提出提高社会韧性和重振制度的方法。
这些兴趣引出了四个关键研究方向，我们在下面详述。虽然其他组织也研究过类似问题，但我们期望我们的研究在如何提出这些问题以及如何回答这些问题方面有所不同，这基于我们的世界观和对 AI 进展的先验。
1. 我们应如何衡量通向递归自我改进的进展？
许多爆炸性 AI 进展的预测依赖于递归自我改进（RSI）：AI 自动化 AI 研究本身。我们认真对待 RSI，正是因为我们的进展模型与大多数 RSI 预测所依据的模型不同，我们希望通过实证检验关于 RSI 的主张，以获得对 AI 潜在影响的早期预警。但是，我们应该如何衡量通向 RSI 的进展？
大多数 RSI 评估衡量 AI 完成易于验证结果的任务的能力。在这方面，AI 系统取得了快速进展。但我们认为，AI 在可验证任务和开放式任务上的表现之间的鸿沟正在扩大。
通过 CRUX，我们计划定期进行开放式评估，以探测 AI 在漫长、混乱任务上的能力上限，包括 AI 智能体是否能进行开放式 AI 研究。我们的首批结果表明它们尚不能这样做；专家评审人明确拒绝了前沿智能体撰写的论文。我们计划使用改进的模型和脚手架定期重复这些评估。
更广泛地说，关于 RSI 的讨论被左上象限的观点主导。那些最担心超级智能的人在认识到认真研究 RSI 的重要性方面走在了前面。但社区和组织也自我选择了这项工作，导致智识多样性不足。当文献依赖于关于 AI 进展的相同（有争议的）假设时，其结论就容易出现相同的失误。
一个更多样化的研究人员和组织生态系统，包括那些对 AI 进展有不同先验的人，可以检验这些假设是否成立，例如通过：
- 比较 AI 进展的因果模型。与其假设一个模型并基于该模型对世界做出预测，不如将不同的因果模型相互比较。例如，可验证任务上的表现是否直接导致现实世界表现的提升？
- 研究数据瓶颈如何塑造递归改进。AI 在容易收集高质量数据的任务上的进展，是否会迁移到不容易收集数据的任务？理解改进何时跨领域迁移，将有助于区分 RSI 导致广泛超级智能的假说与缺乏现实世界数据限制某些领域进展的替代假说。
- 拆解进展的不同维度。大多数 AI 进展基准依赖自动验证，这也使它们更适合强化学习训练。超越自动基准可以帮助我们理解不可验证任务上的进展。这种拆解可以帮助我们理解 AI 进展的哪些方面适合递归改进，哪些不适合。
随着 RSI 动态对理解 AI 进展的重要性日益清晰，我们希望看到一个充满活力的研究者与组织生态系统，认真评估 RSI，同时不一定将其默认结果视为超级智能。
2. 社会如何防御先进 AI 的风险？
AI 安全历史上一直聚焦于模型本身，对齐是该领域的技术大挑战。安全界对开放模型（对齐可能被撤销）的回应是推动不扩散政策。但随着时间的推移，先进 AI 将被广泛使用，包括可能滥用它的人，这一点已经变得清晰。因此，我们对 AI 风险的回应需要超越对齐和不扩散。
AI 安全将需要三项额外回应。第一，我们需要投资于控制、监控和保护 AI 系统的能力，即使在 AI 系统不对齐时也能防止意外行为。第二，我们需要改善下游防御，例如关键基础设施的网络安全，以保护 AI 危害得以实现的攻击面。第三，我们需要提升社会韧性，以在防御失败时降低危害的严重程度。
我们认为韧性是最被忽视的方法。虽然 AI 社区原则上强调韧性，但实践中主要重点仍然是对齐和不扩散。我们经常听到这样的反应：韧性理论上听起来不错，但没有人知道它具体意味着什么。STABL 的目标之一将是阐明一个可操作的韧性议程。我们假设，要使韧性有效，它必须具备以下属性：
- 领域特定：我们不会以一般方式解决韧性。我们必须理解并提高特定部门针对特定威胁的韧性。例如，保护一个州的医院系统免受网络攻击的成本是多少？谁是最有能力部署这些防御的行为者？大规模实施网络防御最可行的行动计划是什么？
- 高度雄心：严肃韧性尝试所需的投资（如大流行防范和大规模网络防御）远超我们当前的投资。我们将提出与威胁量级相称的可扩展、高抱负的回应。
- 最坏情况规划：尽管对灾难性 AI 风险存在广泛担忧，但针对具体 AI 灾难场景（直至并包括文明崩溃）的响应和恢复计划工作很少。提高韧性需要直面潜在的 AI 灾难并制定响应计划。
3. 我们如何引导先进 AI 的经济影响？
尽管先进 AI 已被客户、工人和公司广泛采用，但我们还没有对采用的收益或成本进行清晰核算。虽然有大量工作场所采用的证据，但投资回报尚未以广泛的生产率提升形式实现。尽管许多人担忧即将到来的大规模失业，美国和其他国家的总体失业率基本保持不变。
这些趋势与我们的观点一致，即治理经济转型的瓶颈在很大程度上超出了能力提升的范围，无法通过 AI 能力评估直接理解。因此，为了更好地理解 AI 的影响，这些瓶颈本身需要专门研究。另一方面，我们认为，AI 已经在造成的转型可能被传统经济指标的视角所掩盖。
这些观点促使我们致力于引导 AI 走向增强（augmentation），构建改善 AI 与工人关系的原型，并理解 AI 如何影响工作性质，超越就业统计等总量指标。我们期望在这一领域的很多工作将与越来越多关注先进 AI 经济影响的组织合作。我们有兴趣的几个方向：
- 开发和采用 AI 的公司的主要方法是尝试用相对便宜的 AI 自动化昂贵的人力劳动。我们预计这种方法会取得一些进展，就像农业自动化带来增长一样。但缺乏结构转型的自动化所能带来的收益是有限的。我们旨在将重点从扩展当今经济转向发现新思想、商品和行业，这将带来更广泛的繁荣。具体来说，我们希望引导 AI 开发和部署更侧重于增强，我们认为这在经济上更有前景。
- 增强也尊重人的贡献和能动性，而自动化优先考虑公司最大化生产率的目标。为了更直接地考虑工人的愿望，我们将构建原型，帮助工人更好地驾驭不断发展的 AI 能力，并确定使用 AI 来提高工作满意度的方法。
- 生产率和就业统计等既定经济指标是理解和应对先进 AI 产生的经济冲击的关键输入。但过度依赖这些指标可能掩盖重要后果。即使由于编码智能体，软件工程师的数量没有太大变化，这个职业也已经发生巨大变化。本科生对应该学什么以及毕业时将获得什么工作机会的担忧也值得关注。
- 最后，我们预计重大经济影响将通过工作场所之外的个人 AI 使用产生，例如人们从 AI 获得税务建议。这可以为消费者创造盈余，同时减少劳动力需求。
4. 特定职业和行业应如何回应 AI？
能力基准和暴露指标都无法决定先进 AI 可能如何影响特定工作、行业和制度，以及它们应该如何适应它。我们需要在具体情境中考察不同的职业和制度。在最近的工作中，我们深入研究了 AI 对科学、法律服务和软件工程的影响，并计划继续分析其他类型知识工作的持续转型和可能的未来。
我们旨在制定原则和政策，使知识工作者和民主制度保持掌控，同时实现生产率提升，改造工作流程和流程，移除不必要的准入壁垒，并提升国家能力。我们将提出在现有组织与 AI 赋能的新进入者之间实现健康竞争的方法——在组织形式层面，而不仅仅是单个组织层面。同时，我们认识到在许多情况下，制度中的摩擦是可取的。我们旨在找到欢迎有益改革同时避免完全取代现有结构的中间地带。
STABL 的下一步是什么？
STABL 正在积极筹款并在所有四个工作方向招聘。我们很高兴有一个由 AI 社会影响领域顶尖专家组成的顾问委员会：Erik Brynjolfsson、Michael R. Strain、Audrey Tang、Helen Toner 和 Robb Willer，以及一个出色的研究者和合作者团队。
与我们三人之前所做的工作一样，STABL 将产出四类主要成果。
概念工作和公共写作。AI 话语是极化的。我们旨在通过识别分歧点的概念工作和解决分歧的实证工作来改善它。我们写了一本获奖书籍（《AI Snake Oil》），在《华尔街日报》和《WIRED》上发表文章，并有一份读者超过 90,000 的通讯。
实证研究。我们计划收集关于 AI 进展及其社会影响的证据。我们通过 CRUX 项目对 RSI 进行开放式评估，是最早对开放式 AI 研究任务上的 AI 进展进行评估的项目之一。我们的智能体基准已被领先 AI 公司采用，基础模型透明度指数为 AI 公司的负责任披露设定了标准。我们的研究被《纽约时报》、《金融时报》、《大西洋月刊》等报道。
证据综合。我们计划综合各领域 AI 影响的证据。我们关于开放基础模型的工作为理解其社会影响奠定了基础，我们分析了 AI 对科学、法律和软件工程的影响。
政策指导。我们提供独立专业知识为 AI 政策提供信息。我们的工作直接影响了美国和欧盟在透明度、第三方评估和开放性方面的 AI 治理。我们为两版《国际 AI 安全报告》做出了贡献。我们帮助定义并实现了基于证据的 AI 政策的愿景。
要关注我们的工作，请订阅我们的通讯。我们很乐意听到右上象限其他组织的声音。我们知道许多人持与我们相同的想法，缺少的是一个系统的研究项目、一个组织和运动建设的生态系统，以及维持和放大这项工作的资金。我们希望在建设这一智识项目中发挥作用。