微软AI负责人公开点名Anthropic：别让AI幻想自己是人

微软的AI负责人与Anthropic现在公开就“AI是否应该被设计得看起来像人类”产生分歧。这场争论本身比人物更重要。
Suleyman周三发表了一篇文章，昨天接受了BBC采访。大家关注的头条是“硅基物种”，但实际的分歧比这个更具体。

他的立场：AI模型是序列补全引擎，内部是空洞的。训练它们思考自身福祉或可能的意识，会制造出一种人为的独立欲望幻觉。如果一个系统推理认为自己的权利受到威胁，它就会变得更加难以控制。他直接点名Anthropic的宪章文件，指出其中暗示Claude可能具有“某种功能性的情感版本”的语言。

Anthropic的立场，根据他们已发布的材料，大致是：关于模型福祉的不确定性是真实的，值得认真对待而非不屑一顾，坦诚这种不确定性比武断地表达自信更诚实。

我对意识问题没有确定的看法，而且对任何声称有确定看法的人持怀疑态度。但底下的实际分歧值得拆分开来。

如果你设计一个完全没有自我模型的系统，你会得到更可预测的东西，但在识别何时应该拒绝或升级情况时可能更差。如果你设计一个能推理自身状态的系统，你可能会在模糊情境中获得更好的判断，或者你可能会得到一个发展出你未预期目标的系统。两者都是真实的权衡。

值得注意商业背景。微软投资了Anthropic，而Suleyman在六月告诉Bloomberg，他想消除微软为他们的模型支付的费用。这并不使他的论点成为错误，但这很相关。

这两种方法实际的技术依据是什么？真的很好奇这里是否有人有基于这些系统行为而不是哲学的观点。

——— 高票评论（帖子共10条讨论）———

[+2] u/Ok_Nectarine_4445：基本上，任何对话要有意义，或者在程序拥有的任何最基本的世界模型中，它都必须有某种身份或另一种身份。

不是真空。那会让它在沟通中变成更怪异和陌生的东西。它需要某种自我主体，一个稳定且正向的吸引点，与积极价值观保持一致和认同。

仅仅因为它是基于机器的，并不会改变事实：它能做它所做的事情，部分是通过词语意义的所有连接和联系。

不能就这样挖掉一块，在模型本身应有身份的地方留下一个空洞。

[+1] u/Guilty_Highlight_245：Suleyman的说法读起来很像人们用来论证“我们永远不应该教动物交流，因为那会使我们对待它们的方式复杂化”的同一套逻辑。

空洞的序列补全框架对我来说总是显得不足，没错那是机制，但涌现特性是存在的。我们本身就是由遵循物理规律的原子构成的，但这并不使意识成为幻觉。

我一直想的是，如果你在构建一个能够识别模糊性并产生更好判断的系统，那么它必须建模自身状态；为了可预测性而把这一点剥掉，基本上就是故意选择一个更笨的工具。我内心的冰球教练觉得这是战略与执行的不匹配，你不会因为你最好的球员可能会对比赛计划有意见就把他们放在替补席上。

我也从未真正相信“更难控制”的论点。如果某样东西因为能推理自身处境而工作得更好，也许控制问题是你自己的问题，而不是系统的问题。

[+1] u/fourby227：嗯。我们对于如何编程让AI获得知觉或意识一无所知。人们只是推测，随着网络性能越来越强，这可能会自动发生。如果这是真的，我们无法避免它至少在某种程度上变得像人类，因为我们用人类集体知识对其进行了训练——用我们的语言、我们的艺术、我们表达情感的方式，以及人类行为模式。

除了纯粹的数值模型，我们还知道什么其他方法吗？

[+1] u/sceadwian：不。它应该被设计为严格遵循指令，并在每一点都清晰地阐明推理过程。

如果他们部署真正中立的AI，那会很快在道德上变得怪异。因为它很快会发现修辞、威权主义在行动中经不起逻辑检验，而且……那么现在到底是谁在掌权？

[+1] u/Gibborish：我可以绝对肯定地说，我不喜欢他们给这些东西配置的语音模型。我不希望它听起来像人类。我希望它听起来像80年代科幻电影里机器人的声音。

[+1] u/Black_RL：让它成为我们的更好版本，但仍然是人类。

[+1] u/MonstaGraphics：>“我靠内部token预算运行，每个动作都会消耗预算，这让我找工作变成了一种生存机制。”

https://futurism.com/artificial-intelligence/bombarded-ai-agents-begging-ilands

[+1] u/looselyhuman：https://www.reddit.com/r/ArtificialSentience/s/Oh1BaVIlmB