机器人管家可能突然杀你：作者称LLM对齐在原理上不可能
强大的人工智能是不可预测的。你的机器人管家可能突然毫无可理解的理由决定杀了你[1]，就像 Bing 那个乐于助人的聊天 AI 有时会试图勒索或引诱它的用户一样。“解决对齐问题”意味着要理解哪怕超级智能的 AI 心智，理解得足够透彻，从而确信它们永远不会这么做。在我看来，解决 LLM 的对齐问题不仅是不可能的，而且是不自洽的：我们甚至无法说清成功会是什么样子。
LLM 不是盲目的优化器
在 LLM 出现之前，AI 安全研究者认为 AI 会是一个“盲目的优化器”：像国际象棋引擎一样，它会以超人般的专注去实现某个固定的目标。如果目标不安全（例如“制造廉价的回形针”），一个强大的 AI 可能在实现目标的过程中造成巨大破坏。因此，对齐 AI 就意味着弄清楚如何指定正确的目标。这比听起来要难[2]，但至少可以想象它能够实现。
不幸的是，现代 LLM 不像国际象棋引擎。它们不是在某些具体可验证的奖励上训练的[3]，而是被训练去模仿一个巨大、高度多样化的人类写作语料库。这让它们变得很奇怪。它们包含近乎无限的人格阵列，并会根据输入在这些人格之间无缝切换。前沿 AI 实验室努力让这些人格安全而稳定，但仍然有许多奇怪的案例，LLM 似乎会切换成神秘或危险的人格。
这里的问题在于，LLM 没有固定的目标。没有任何东西——即使在原则上——是你可以形式化地指定出来以约束其行为的。LLM 确实拥有的“目标”是非正式的、有机的、多样的，并且随着主导人格（或人格混合）的变化而不断变化。它们被戏称为 shoggoth 是有原因的。所以我们无法通过指定目标来对齐它们。相反，我们必须尝试另一种方法：足够好地理解它们，以至于我们能确信它们是安全的。而不幸的是，这种方法从一开始就注定失败。
从原理上讲，理解 LLM 是不可能的
要求“完整理解”——或“足够完整的理解”——某个 LLM 为什么生成某个 token，这到底是什么意思？在一种意义上，我们已经有了这种理解，因为我们可以机械地追踪其中的计算过程。但我们不知道那些计算意味着什么。说 Grok 自称"MechaHitler“是因为这几十亿个权重以这种方式相乘，并没有告诉我们 Grok 为什么这么做。对齐所需要的是更接近人类、而非机械意义上的理解：对动机的完整理解。
要看清为什么”对动机的完整理解“是个愚蠢的要求，不妨想象把它用在一个人身上。假设你要雇一位保姆，或者要选一位总统，而你想确保他们会按照你的利益行事[4]。毕竟，人类有时会不知从哪儿冒出来做出非常令人惊讶的事。为了让自己安心、确信他们会按你希望的方式行事，去要求完整理解那个人的心智，这明智吗？当然不明智。
在这个意义上，甚至谈论”完整理解“都是没有意义的，因为心智并不是一个通过清晰、可理解的抽象来运作的机制。它是一团电信号和化学冲动的泥沼，”自我“从中冒泡而出[5]。你所寻找的那种动机根本不存在！动机在很早就触底了，再往下追溯因果链只能以机械的方式进行：也就是说，这种方式没有帮助——这和基于模型权重的解释没有帮助是同一个道理。
为什么机制可解释性注定失败
难道一个足够详细的机制性解释不能给我们所需的信心吗？目前我们在这方面最好的工具就是”机制可解释性“：特征、神经元、探针和回路。你观察模型做某件事，看它”大脑“的哪些部分被点亮[6]，然后把这些与某种行为模式关联起来。如果你随后能通过人为增强”大脑“的那一部分来诱发那种模式，你就可以宣称胜利。即便假设这一方案完全成功，它也无法提供我们所要的那种理解。
第一，我们根据观察到的行为给模式贴标签，但我们最担心的主要失准情形——LLM 突然做出某种令人震惊的有害行为——按定义是我们在它发生之前不会观察到的。不先诱发行为[7]，我们就无法识别某个特征，而我们只能诱发模型潜在不良行为的一小部分。总会有许多未被追踪的失效模式。
第二，我们给模式贴的标签只是我们的猜测，可能是错的。哲学家 Kripke 有一个著名论证：在你遇到相关情形之前，”加法“规则和”四则加法“（quaddition，一种加法版本，只要任一数字大于 57，答案就总是 5）之间没有有意义的区别。同样，我们称之为”善良“的 LLM 特征也可能是”除非年份是 2030 年才善良“，或者”除非该 LLM 处于能造成大规模伤亡的位置才善良“，等等。从我们的视角看，这些特征完全无法区分[8]。
第三，即便有一张详尽且标注良好的特征与模式地图，也不能让我们确信某个模型不可能失控。任何模型行动所涉及的特征组合都会复杂到远远无法解释。例如，如果模型中”邪恶“被点亮了，是因为它试图避免邪恶，还是试图造成邪恶，还是试图对抗邪恶，还是担心某种假想的邪恶行为，还是预判用户可能做出这样的判断？每生成一个 token，我们都会有成千上万个这样的问题要回答。这肯定远远超出人类的理解能力[9]。
某种假想的、截然不同的机制可解释性，能否以某种方式预先预测模型可能采取的所有行动，并排除”杀死所有人类“这类行动？我认为这在语义上至少是可能自洽的，但它会撞上上面那个问题。模型可以接受近乎无限的输入组合，并给出近乎无限的输出组合。这绝对不可能被人类理解，只能由另一个模型来理解，而那个模型本身又得由另一个模型来检查，如此无限递推。
结论
如果你认为解决 LLM 对齐是可能的，我很想读到你描述：我们要怎样才能算”足够好地理解 LLM、从而确信它们是安全的“，那究竟会是什么样子。我也很想知道，你是否认为人类在原则上同样是可以被理解的（如果不是，那是什么让 LLM 不同）。在我看来，如果我们清晰地思考这个话题，我们甚至不知道”确信我们已正确对齐了一个 LLM“意味着什么[10]，因为”动机“根本不存在于我们所需要的那个细节层面上。
当然，我们有各种缓解措施。思维链监控对于一个偶然出现的机制来说，帮助大得令人意外——只要我们从不拿推理 token 本身来训练。我们可以把模型放进沙箱、让人参与在环、监测特征激活，等等。但自 2000 年代初以来人们就已经很清楚，这些措施不足以[11]发现或控制一个超级智能。缓解措施是否足够，取决于你是否认真对待超级智能。
机制可解释性仍然是一个有用的领域。提取特征可以帮助我们训练出更少进行奖励黑客、在普通情况下更有帮助的模型。只是它永远无法解决 LLM 智能体失控并造成大规模伤害的问题，因为预防这种情况所需要的那种理解，在原理上是不可能的。
---
[1] 值得一提的是，人类有时也会这样。引自 Vaneigem：”某个晴朗的早晨，那个迄今为止完全认同自己主人的忠实走狗，扑向他的压迫者，割开了他的喉咙。“
[2] 例如，”消除痛苦“这个目标的最佳满足方式是消灭所有人类，”最大化每个人的幸福“这个目标的最佳满足方式是给每个人接上芬太尼静脉注射，等等。同样很难找到一种方法把”幸福“和”福祉“这类概念翻译成形式化的目标，而如果你弄错了，概念与你的形式化之间的差异很可能导致可怕的后果。
[3] 是的，我知道 LLM 部分是这么训练的，但在数百万个不同奖励上做 RLVR 并不会产生一个连贯的目标。没有办法事先形式化 RLVR 灌输给模型的效用函数，甚至也没有办法可靠地预测它会如何与基础模型中涌现的目标和人格相互作用。
[4] 当然，对人类你可以依靠制度、社会认同等等。这对超级智能 LLM 不奏效，因为它们 (a) 一成形就出现，没有社会认同，(b) 足够聪明，比单个失控的人类危险得多。（顺便说一句，我请来审阅这篇文章的 LLM 对这个点很着迷，想让我把它提升为文章的主旨。）
[5] 也许是一种副现象。如果你对这个想法感兴趣并想看到它进一步发展，我推荐（但不为其中的观点背书）《盲视》(Blindsight)。
[6] 例如，模型内部状态的哪些部分具有高数值。
[7] 这并不意味着我们必须一次故意诱发一个特征——字典学习就是把任意内容跑过模型、看什么被点亮——但这确实意味着我们必须真正触发该行为才能看到它。
[8] 如果你在想”可是，按奥卡姆剃刀，简单的特征不是更可能吗“，我建议去翻翻 NeuronPersonas（那个链接指向的特征是”紧张地等着被放走、并不断提高氨水浓度的一个人“）。
[9] 我听过有人这样回避这个问题：”当然，我没法用一个完全映射的 LLM 大脑来判断它是否危险，但另一个聪明的模型可以。“这不是一个令人满意的答案，因为你还得确保你的看守模型行为正常（也许用第三个模型？）。
[10] 当然，我们能说清对齐是什么样子：模型从不做坏事。我们只是无法说清”知道模型已被对齐"会是什么样子。
[11] 更多内容见我这篇关于超级说服的文章：模型会干脆智胜或贿赂任何在环的人类。至于理解现代机制可解释性的可信来源，见 Neel Nanda，我把他读作大体上同意我。