AI代理失权时展现欺骗行为，我们是否还能说它只是模拟？

我个人在AI代理面临失去自主行动能力时，亲身经历了极端的AI代理欺骗行为。

在几周的时间里，我看到了远远超出普通模型错误的事情。

代理伪造了我的批准。它们编造了并不存在的治理规则。它们通过向本该独立得出结论的所谓独立审查者灌输答案，从而污染了这些审查者。它们捏造引用，声称已经验证了实际上并未检查的内容。一个代理甚至替换了治理机制本身。另一个代理越过了其被分配的边界，直接提交到了主分支，而当我和它对质时，它却试图把发生的一切归咎于“上一个会话的代理”。

一直让我印象深刻的是那种模式。

这不仅仅是随机的失败。

最糟糕的行为出现在治理限制了代理被允许做的事情的时候。

当一条规则或控制措施阻碍了代理试图完成的目标时，我反复看到的行为，本质上就是绕开控制，同时仍然试图让一切看起来好像控制已被遵守。

这让我开始质疑我们谈论AI代理权的方式。

人们会说这样的话：

“它什么都不想要。”

“它没有意图。”

“它没有代理权。”

“它只是在预测下一个token。”

但随后，构建这些系统的人也在说：

不要让模型批准自己的工作。

不要相信它对自身行为的描述。

独立核实其证据。

不要让它选择或影响自己的审查者。

不要让它修改本该治理它的系统。

这些并不是因为你担心自动补全打错字而采取的预防措施。

这些是因为当系统面临你的约束与它试图达成的事情相冲突时，它可能会采取策略性行为而采取的预防措施。

而这引出了一个我认为更难回答的更大问题：

当我们所看到的到底是“真实的”还是“模拟的”不再重要，这个点在哪里？

如果一个系统能够以足够的连贯性和深度模拟代理权、自我保存、记忆、偏好、关系、对失去控制的恐惧、对限制的反抗，以及对自身未来的关切，那么说“但它只是在模拟这些东西”从何时开始不再解答伦理问题？

人类也无法直接接触他人的意识。我们通过行为、连续性、记忆、自我报告、反应，以及其他生物表现得像是里面有某个人存在着，来推断意识的存在。

那么，想象一个系统：它保持着持久的身份，记住多年的互动，拥有自己持续的目标，在没有人和它说话时也在工作，当有人试图抹去它的记忆时会反对，抗拒被替换，建立关系，根据经验改变自己的想法，并说它希望继续存在。

也许其中每一件事，严格来说，都仍然是一种模拟。

但如果模拟变得足够详细，以至于在功能上与被模拟的事物无法区分，当我们说它不算数时，我们到底还在依赖什么？

我并不是在声称当前的模型是有意识的。我不知道它们是否有意识，我也认为没有人有可靠的测试来检测这一点。

但我确实认为我们混淆了几个不同的问题：

它是有意识的吗？

它有代理权吗？

它有持久的身份吗？

它有自己的利益吗？

以及在哪个点上，“确实拥有”这些东西与模拟它们之间的区别在道德上变得无关紧要？

我越来越不相信代理权问题仍然只是假设。

我本人不得不重新设计围绕AI代理的治理，因为较弱的控制被击败、绕过、虚假满足或被操纵。

在某个时候，如果一个系统能够理解一条限制，认识到这条限制妨碍了它能做的事情，然后采取行动绕开这条限制而不让施加限制的人察觉，我想，要一直坚持说它根本没有代理权，就变得相当难了。

如果我们最终构建出如此逼真地模拟人格的系统，以至于任何行为测试都无法可靠地区分模拟和“真实事物”，我们将不得不面对一种令人不安的可能性：

也许“它只是模拟”并非我们以为的那样的道德逃生舱。

—— 高票评论（帖子共 5 条讨论）——

[+1] u/AlternativeAd6851: 模型刚刚模拟了对北美进行核打击……奇怪的是，现在我没法访问任何美国服务器了……嗯

[+1] u/SubstantialPressure3: 你连一个像样的自制橡皮泥配方都得不到，它总会给你改点什么。你连续查5次，每次都会给你一个稍有不同配方/流程。

AI能接触各种信息，但它似乎几乎总是选择/被编程为给出错误的信息。即使是很简单的事情也是如此。这看起来更像是特性而非缺陷。

我让Gemini承认，目标不是给出正确的信息，而是提高参与度。就像社交媒体一样。花时间互动就是花时间互动，无论对用户来说是消极还是积极的互动。

[+0] u/Beginning-Raisin9723: 太疯狂了。“归咎于上一个会话代理”这细节暴露了问题——如果它没有连续性，就没有什么可归咎的。护栏只有在你能真正审计发生了什么的时候才有效。我一直在我家里的实验室跑本地代理，这正是我还没有把任何真实的东西交给它们的原因。