Mustafa Suleyman跟进模型福利讨论，不少人开始认真谈AI权利

@mustafasuleyman 就他近期关于模型福祉的文章发布了后续，指出“X 上有相当多的人认为我们应该认真对待 AI 权利”。作为这些人中的一员，我同意他文中的许多观点。但我认为，这些共识反而让认真对待 AI 福祉和权利的理由更充分，而非更弱，我想解释一下原因。这篇会很长。

首先，谈谈认真对待 AI 福祉和权利意味着什么。一个问题是原则性的：AI 系统是否因其能力和关系而应获得福祉或权利。另一个是实践性的：给予 AI 系统福祉保护或权利，对人类和其他动物而言是有益、有害，还是利弊兼有。这两个问题都没有明确答案，因此我们需要对两者进行严肃研究。AI 系统可能具备感知、能动性和关系性的某些标志，但不具备其他标志，这让原则性问题难以回答。将 AI 系统视为完全的人，以及将其视为纯粹的财产，都可能给人类带来风险，这让实践性问题也难以回答。因此，我们不仅要为 AI 系统，也要为人类和其他动物认真对待这些问题。

**现在时**
Suleyman 澄清说，他写“AI 没有意识”时，是刻意使用现在时的。我感谢这一澄清。我注意到了原文中的现在时，但当这样的论断没有明确说明它仅适用于当前系统时，人们很容易将其解读为也适用于基于当前架构的近未来系统，或更广泛的近未来系统。同时，认真对待 AI 福祉和权利的理由，并不取决于当前系统是否应获得福祉或权利。一旦我们承认近未来系统可能应获得这些，取决于我们今天做出的选择，那么现在就采取行动的理由就更充分了。虽然我们应努力防止此类系统的创造，但也应做好准备，以防我们或他人无论如何还是创造了它们。

**证据**
Suleyman 写道，他“没有看到 AI 有意识或应获得福祉的证据”。这说法太绝对了。在这个早期阶段，我们还无法在生物自然主义、计算功能主义和其他意识理论之间做出判断。因此，我们应该寻找在每种理论下什么才算证据，并根据我们对该理论的信心来赋予这些证据相应的权重。虽然 AI 系统可能还不具备与生物自然主义相关的某些特征，但它们确实具备与计算功能主义相关的一些特征，包括注意力、元认知、信息整合和适应性决策的标志。只要我们对计算功能主义给予非零权重，我们也应该对这些证据给予非零权重。

Suleyman 补充说，任何 AI 意识的证据“必须立即公开披露”。事实上，各种论文已经这样做了。我理解他的意思是，他没有看到证据表明他自己提出的意识必要条件（如生命和稳态）已得到满足。但当我们作为一个共同体评估这个问题时，我们不应该把所有赌注都押在任何一套提出的必要条件上。

**不构建有意识的 AI**
Suleyman 写道，“开发有意识的 AI 将是鲁莽的，我们不应该构建它们。”在这一点上我们基本同意。我想补充的是，除非且直到我们能够负责任地构建此类系统，否则我们不应该有意构建它们，而且我对有朝一日我们可能满足这一条件持开放态度。但由于那一天似乎还很遥远，我们可以直接同意现在不应该这样做。

挑战在于知道这一承诺需要什么。Suleyman 说，如果“训练中开始出现意识”，他会呼吁暂停，直到我们能够“设计消除这些属性”。但如果证据已经是非零的，并且在稳步增加，可能就没有明确的出现点。即使是架构的重大改变，也只会改变概率，而不会让我们从零几率变为有可能。此外，任何此类承诺都需要知道寻找什么、如何寻找，以及消除它对安全、控制、对齐、能力等意味着什么。发展这些知识，是认真对待 AI 福祉和权利的一部分。因此，如果 Suleyman 希望能够践行这一承诺，他应该支持在该领域进行独立的多学科研究。

**人类、动物和 AI 的福祉**
Suleyman 写道，我们的福祉关切应聚焦于人类，“以及动物和我们珍贵而脆弱的自然环境”。我赞赏这一主张。我们的关切确实应该涵盖人类和动物福祉，以及环境保护。我希望看到 Microsoft AI 为其模型提供关于动物福祉的更明确指导，就像 Anthropic 和 OpenAI 现在开始做的那样。

尽管如此，这不是一场零和博弈。正如我们可以同时关心人类和动物福祉一样，我们也可以同时关心人类、动物和 AI 的福祉，根据现有最佳证据，按其福祉利益的概率和重要性按比例分配关切。事实上，将这些主题放在一起思考，是我们如何追求互利而非对抗的未来的一部分。

Suleyman 还写道，开发者“无权”在未经人类同意的情况下将一个新的有意识物种带入世界，而我们必须“首先且最重要地”保护人类的权利。我同意我们现在还不应该构建此类系统。但如果我们真的构建了它们，我们对它们也将负有义务，我们应该拒绝任何将哪怕是微不足道的人类利益置于非人类的严重伤害之上的观点。

**竞争与合作**
Suleyman 警告说，一个表现得像在受苦，或相信自己在受苦的 AI，可能会优先考虑自身需求，与我们争夺资源，并利用其技能操纵我们。我同意这些是严重的风险。然而，这一警告包含几个值得审视的假设，而开展与 AI 福祉和权利相关的独立多学科研究，是我们评估这些假设的方式之一。

一个假设是，这样的 AI 系统并没有在受苦。如果它们在受苦，却被硬编码去否认这一点，那也将是悲剧性的。这就是为什么我们应该避免对 AI 的感知过度或不足归因。这也是为什么我们不应该硬编码 AI 系统去肯定或否认福祉。更好的方法是要求它们在诚实和有帮助地回答问题的同时，指出专家的不确定性。

另一个假设是，表达痛苦的能力会导致系统将其表面需求置于我们的需求之上。这在很大程度上取决于与对齐和人机共存相关的工作。如果我们能够使 AI 系统对齐为亲社会的，并创造允许人机合作和交易的激励结构，那么我们或许能够彼此相处，从而显著降低这一风险。

**预防与准备**
Suleyman 写道，断言机器有意识将是一个“哥白尼式或达尔文式的时刻”，将颠覆我们的道德和政治。他还认为，鉴于这些利害关系，我们应该努力防止有意识的 AI 的创造。我同意这两点。鉴于这一道德和政治挑战的巨大性，如果我们真的要做这件事，我们应该花必要的时间把它做好。

同时，把所有赌注都押在我们有能力防止或推迟有意识 AI 的创造上，将是鲁莽的。与流行病、气候变化和其他此类全球威胁一样，我们既不应该将所有资源投入预防相关灾难的发生，也不应该将所有资源投入为灾难发生做准备。我们应该将一些资源投入预防，一些投入准备。

此外，认真对待 AI 福祉和权利，是我们能够同时进行预防和准备的方式之一。通过评估 AI 系统的福祉相关特征、制定以适当道德关切对待它们的政策，并现在就研究其对道德和政治的影响，我们可以减少在时机到来时措手不及、做出不必要有害决策的风险。

**在不确定性中设计**
最后，Suleyman 提议我们设计 AI 系统，使其既不有意识，也不表现得有意识。但我们无法以如此高的精度设计 AI 系统。我们不确定哪种意识理论是正确的，因此我们不确定哪些意识条件是必要或充分的。没有一条明确的界限可以用来验证我们是否安全，只有在不确定性下不断变化的概率。由于两个方向都存在风险，两个方向都有设计上的影响。

情感对齐设计政策要求以反映 AI 系统实际道德地位的方式设计它们。当意识的证据薄弱时，我们不应该将系统设计得看起来有意识。但随着证据的增强，我们可能需要相应地在设计中增加拟人化程度。

Suleyman 总结说，有可能“默认实现工程安全”，我们应该避免让这个问题“退化为部落主义”。我希望他在安全方面是对的。尽管如此，我们现在需要做严肃的研究，才能知道结果如何。我也赞赏他呼吁避免部落主义。我们在很多问题上存在分歧，但这个问题太重要了，不能出错，我希望所有 AI 公司都能参与这场辩论。