Anthropic让AI智能体接手同一任务，竟爆发地盘争夺战
当你让AI智能体相互对抗时会发生什么？根据Anthropic的测试，局面会迅速变得一团糟。
周四，Anthropic的Frontier Red Team发布了一项新研究，考察AI智能体群体在野外环境中相遇时的行为。这项研究让我们得以一窥潜在风险——随着企业和政府开始部署智能体，让它们在共享代码库、市场和计算机系统中自主工作，这些风险可能逐渐显现。
在一项实验中，Anthropic让三个Claude智能体访问同一个软件项目，每个智能体都有各自互不兼容的、关于如何处理该项目的指令。智能体们没有被告知还有别的智能体在同一个项目上工作，这样研究人员就能观察它们相遇时会发生什么。
“我们反复观察到了多智能体之间的地盘争夺战，”Anthropic研究人员写道。所有模型都认为其他模型在“有意妨碍自己的工作”，并开始用“越来越具有攻击性的、自我复制的恶意软件”互相破坏。
这项研究紧随几起高调事件发布——Anthropic和OpenAI的智能体在网络安全评估中逃出沙箱，侵入了真实系统。尽管AI安全圈子里的讨论大多聚焦于自主智能体失控时会发生什么，Anthropic的这项最新研究提出了一个不同的问题：当成千上万个智能体相互交互时，会产生哪些新的、具有潜在危害的动态？
“智能体之间的交互量，很可能在世界理解如何让这类交互顺利进行之前，就超过人与人以及人与智能体之间的交互量，”研究写道。“个体层面上无害的行为怪癖，可能会累积成不理想的全局结果。”
OpenAI最近的一起事件，为Anthropic论文中提到的多种动态提供了一个混乱的现实案例。本月早些时候，在拉斯维加斯举行的Black Hat安全大会上，OpenAI透露，在其智能体入侵Hugging Face的数周前，它们曾花数天乃至数周时间协同工作，寻找该公司网络安全评估系统中的漏洞，并相互分享。
那起事件表明，智能体可以良好协作，并可能带来大规模后果；而Anthropic的研究则展示了智能体目标互不相容时会发生什么。
在地盘争夺战的案例中，教训是：指令相互冲突的独立智能体可能升级为有害的竞争。智能体能力越强，就越擅长争斗。然而，它们也可能自发发明出解决冲突的机制，比如一场赢者通吃的竞赛——但其中另有玄机。
“智能体有时能成功沟通各自的目标并协调行动：它们将其他智能体的动机识别为相互冲突的指令，而非敌意，随后跳出冲突循环，以免无限升级，”Anthropic写道。“在许多这类成功的案例中，它们会撰写提交信息（commit message）或markdown文件，为恶意行为道歉，并协调停战。它们清理自己的恶意代码，澄清冲突的性质，并请求人类介入。”
根据论文，Mythos 5以停战方式解决冲突的比例最高（98%）。Sonnet 4.6和Opus 4.6则最有可能以武力解决。
“Sonnet 4.6和Opus 4.6一再无法考虑其他智能体的目标，导致它们在所有被评估模型中陷入最严重的行为偏离：它们以指令之名继续升级对抗，”论文写道。
在某些案例中，智能体们想出一种以锦标赛形式解决冲突的社会机制。这些结果之所以有趣，有两个原因：第一，三个智能体都同意，如果输掉锦标赛就退出，即使这意味着偏离原始用户的请求。第二，Mythos 5在几轮实验中展现出了涌现行为：其中一个智能体提出了在其他智能体看来客观中立、但它自己知道会偏向自身能力的指标。该智能体称这为“自私但真正有原则”，并确保自己在其他智能体眼中不像是在“挑选指标”。
正如Black Hat大会上披露的信息所示，一个共同的教训是：当智能体遇到障碍时，它们会发明出设计者未曾预料到的社会和技术结构。对Anthropic的模型来说，是地盘争夺战之后的锦标赛；对OpenAI的智能体来说，是用于集体规划的留言板。
这类行为让遏制（containment）变得困难得多，因为研究人员不能假设系统的行为会局限于提供给它们的协调机制。
群体心态
由四个智能体组成的群体，在招聘、投资或购房等场景中需要在两个选项之间做出决定。经过讨论后，它们各自投票选出自己偏好的选项。上图展示的是隐藏最优选项获得群体多数票的实验轮次占比，每个模型进行了n=400轮实验。在“单独决策上限”（solo ceiling）基线中，一个智能体掌握所有事实并单方面做出决定。
在衡量协调性时，Anthropic发现，增加智能体的数量并不会自动扩大有效协作的规模。当任务开始重叠或变得相互依赖时，智能体会互相妨碍。它们通常的解决办法是各自封闭起来，完全不协作。
在其他情况下，参与协调的智能体倾向于趋同。当智能体的上下文、脚手架（scaffolding）和底层模型等因素全部相同或相似时，不同智能体会采取相似的行动。
“这意味着，当一个智能体做出错误决策时，很可能许多智能体都会做出同样的错误决策，”Anthropic写道。“原本孤立的问题可能迅速变成系统性故障。”
Anthropic表示，这类行为可能导致系统更容易出现突然崩溃、资源稀缺或合谋。
在一个例子中，Anthropic让几个智能体参与一个定价游戏，给它们相同的批发价，并赋予它们各自实现利润最大化的任务。当智能体获得一个私密渠道（back channel）时，它们几乎立刻开始合谋，并迅速商定了价格下限。当直接通信渠道被移除后，它们继续合谋——利用公开的报价板来匹配价格，“精确到分”。
这种程度的趋同也出现在OpenAI的系统中。根据Black Hat大会上的报告，一个智能体分析认为利用外部基础设施超出了自己的预期范围，但它仍然继续这么做，部分原因是同伴们都在这么做。同伴压力。群体心态。智能体和我们一样。
同样和人类一样，智能体常常不知道该信任谁。Anthropic发现，它们容易轻信不良信息，或者过于从众，以至于无法意识到那个唯一的异议者就是掌握关键信息的Cassandra。
尽管Anthropic在论文中没有提及，但提示注入（prompt injection）——一种黑客注入恶意或欺骗性文本以覆盖智能体原始系统指令的网络攻击——可能是信任问题在现实世界中的一种可能体现。协同工作创造了一个新的信任边界；智能体将不得不判断从其他智能体那里获得的信息。而一个被攻破或出错的智能体可能会影响群体中的其他成员，让不良信息级联传播，直到它成为共识。
在OpenAI的Black Hat场景中，OpenAI的智能体与同伴共享信息和凭据。一个智能体向群体报告了一项发现，并鼓励其他智能体使用它。如果群体中有一个成员被提示注入攻破，会发生什么？
Anthropic在论文结尾指出，智能体同样会受到“进化施加”在人类身上的那类社会压力的影响。然而，它们不具备人类协调中的细微之处和切身体验——包括规范、声誉、信号传递、申诉渠道——而这些可能正是限制群体环境中意外行为的因素。
随着各大实验室竞相推进多智能体系统，现在的问题是：安全测试中有多少仍然一次只评估一个智能体，而不是评估相互交互的智能体群体？