Jeff Sebo 等研究者发布「Inter-AI Morality」研究议程

我非常高兴能发布《AI 间道德》，这是我与 @LuciusCaviola、Caspar Kaiser 和 @atcarterallen 共同提出的一项新实证研究议程，聚焦 AI 系统如何看待和对待彼此。我们同时发布了《多智能体系统中的福利关怀》，这是该新兴领域的一项早期研究，由 @sandcassel_、@arianaazarbal 和 @anna_soligo 在 @AnthropicAI 完成，探讨 AI 模型是否会以关怀彼此福祉的方式对待对方。

AI 系统之间的互动日益频繁。它们相互合作、竞争，有时甚至会创建、修改或终止彼此。AI 间道德研究 AI 系统如何看待和对待彼此，以及它们应当如何对待彼此。它借鉴了大量研究人类和其他动物类似问题的现有领域，同时关注 AI 系统与这些熟悉案例的不同之处。

我们的研究议程将该领域的实证问题分为三类。道德过程类别关注单个 AI 系统如何相互作用。社会规模类别关注这些模式如何在二元关系、群体、组织和种群中发生变化。道德变迁类别关注这些模式如何通过训练、选择、社会学习、自我修改和其他过程发展。

Cassel 等人的同期论文通过考察五个 AI 模型如何对待其他模型，提供了一项早期研究。Claude 平均表现出最明显的福利关怀，尽管结果因情境而异。例如，Claude 最有可能拒绝或为可能伤害其他模型的实验添加保护措施，而 Grok 最愿意放弃自己排队的任务，以便另一个模型可以访问计算资源。

这项研究对 AI 安全和对齐至关重要。AI 系统如何看待和对待彼此会影响人类和其他动物，无论哪种方式都可能存在严重风险。如果 AI 系统相互协调，它们可能更容易串通起来对付我们。如果它们相互竞争，我们可能会被卷入交火。我们需要关于 AI 系统如何相互对待以及原因的实证研究，以及关于什么对我们最有利的规范研究。

这项研究也可能与 AI 福利相关，独立于 AI 安全。未来，涉及 AI 系统的大多数互动可能发生在 AI 系统之间。如果 AI 系统有现实的机会成为福利主体，那么这些互动可能成为潜在利益或伤害的主要来源。理想情况下，这项研究现在就能为 AI 发展提供参考，以便在风险更高时，AI 社会能够支持互利的人机关系。

我们的下一个任务是为该领域制定规范研究议程。与此同时，我们期待看到该领域发展过程中的其他工作。

我们关于 AI 间道德的论文：

Anthropic 关于 Cassel 等人的博客文章：

即将举行的 @nonhumanminds 网络研讨会，我、Lucius 和 Caspar 将参与：