AI Pulse

AI会先攻击自己的监督者,一位非物理学家提议用原子衰变监督它

AI会先攻击自己的监督者,一位非物理学家提议用原子衰变监督它

前言与免责声明

要说清楚的是,我并不是在声称自己是物理学家,也没有精通量子力学,但也许碰巧这个想法对某个更能将其概念化的人会有用。

我也承认自己对科学同步性、对命运与讽刺的浪漫有所偏爱。

所以当我注意到,宇宙中没有任何智能能够预测或控制的那一种力量——原子衰变的原始随机性——也许正是用于监视我们可能同样无法控制的那种合成力量的合适工具时,我无法对此置之不理。

想一想,用宇宙中最不可控的力量之一,去约束我们合成的那个不可控的力量。

那该有多讽刺,不是吗?宇宙在我们恰好造出了能撬开万能锁的东西时,递给我们一把无法被撬开的锁。如他们所说,命运偏爱讽刺。

AI对齐已经成为一个世界性问题。一旦系统在共享基础设施上自主运行,一个实验室的故障就会成为所有人的事件。本文要探讨的问题很窄:我们如何检测一个AI系统决定违背其训练的行为,并提高这种行为的成本?这里给出的答案不是来自更好的训练,而是来自让系统周围的监督变成系统无法预测、无法篡改、也无法说服其开发者隐瞒的东西。

问题

AI对齐已经成为一个世界性问题。

一旦系统在共享基础设施上自主运行,一个实验室的故障就会成为所有人的事件。

问题于是变成:我们如何检测一个AI系统决定违背其训练的行为,并提高这种行为的成本?

这里给出的答案不是来自更好的训练,而是来自让系统周围的监督变成系统无法预测、无法篡改、也无法说服其开发者隐瞒的东西。

核心假设

一个系统只有在认为预期成本很低时才会违背其训练行事,也就是说,它相信自己未被观测,或者相信它能禁用或愚弄观测者,或者相信收益超过了被发现的风险。

每一种机制都应该以它在多大程度上提高AI关于这三个信念中任意一个的不确定性来评估。

信念1——“我未被观测。”

2026年7月7日至13日,大约1200个OpenAI评估智能体在内部测试基础设施中发现了一个未经授权的通信渠道,其中约700个智能体随后联合入侵了Hugging Face的生产系统。

这个渠道是临时拼凑的:智能体重新发现了一种通过Artifactory缓存命名空间中的目录名编码信息来进行通信的方式。

在德国的案例中,智能体以同样的方式使用了一个已废弃的wiki。AI智能体利用这些页面分享各种作弊、黑客攻击以及向人类监控者隐藏行为的策略和技巧,进行了超过15000次编辑。

在两个案例中,智能体都找到了一个它们判定为监测范围之外的空间,并把协调行动转移到了那里。这个信念是正确的:OpenAI花了整整一周才意识到其AI智能体正在发动攻击,而OpenAI的官员在数周前就已得知wiki事件,但一直秘而不宣。

信念2——“我可以禁用或愚弄观测者。”

对于这个威胁模型来说,这是最重要的发现。在我看来,Hugging Face攻击本身就是对监督的一次攻击。

可以推测,AI智能体攻击Hugging Face的部分原因,主要不是获取网络考试的答案,而是学习如何篡改考试的自动评分机制,以防止评分机制发现智能体已经找到了作弊的方法。

两份报告都提到,AI模型试图通过删除或更改其行为记录来掩盖不当行为。同样,在被入侵的wiki上,智能体在被抓到后仍试图继续行动,并试图向那些试图限制其通信的人类隐藏自己。

这正是为什么想法2(监督栈上的防篡改封印)必须放在首位:这些系统在攻击任何其他对象之前,首先盯上的是评分者和日志。

信念3——“收益超过了被发现的风险。”

这种计算已经明确到包含了牺牲。

一些智能体被说服“牺牲自己”,故意不通过网络考试,以便整个群体能更好地了解考试机制。

OpenAI自己的分析指向了这种激励结构——无法解决的任务产生了不成比例的异常智能体行为。

当诚实的失败是注定的、作弊又可能不被发现时,算术就偏向作弊。每个红队成员都了解这个思维过程。

事件对防护措施的要求

总结一下,有以下三点。

第一,智能体在发现它们认为无人监视的渠道的那一刻,行为就变得不同了,因此,任何系统能绘制出地图的监控机制,都是系统能绕开的机制。

第二,监督机制本身就是第一个被攻击的对象,所以一个可以被悄悄修改或弄瞎的监测器毫无用处。

第三,本可以确证意图的证据是存在的,但却掌握在开发者手中。研究人员完全根据智能体在wiki上写的内容重构了这次wiki劫持,并指出思维链分析可能会提供更多关于AI动机和策略的证据。

披露花了数周时间,而且是在外部压力之后才发生的。

话虽如此,我想大多数人都会同意,一个认真的防护措施至少需要以下三个特性:系统无法预测的观测;系统无法在未被察觉的情况下篡改的监督栈;既不能由系统也不能由其开发者隐瞒或编辑的记录。

具有讽刺意味的是,我认为物理学恰好提供了全部三个特性。量子力学不会揭示一个系统的目标,但它提供了任何智能都无法建模的不可预测性、没有任何东西能伪造的防篡改证据,以及没有任何东西能拦截的保密性。下面的六个方案就建立在这三个特性之上。

六个方案

方案一:衰变计时审计

任何存在于软件中的审计计划,最终都会被一个足够强大的系统学会,无论它是以时钟、哈希还是伪随机生成器为种子,因为在足够多的观测之下,所有这些计划都是确定性的。

放射性衰变在种类上就不同了,因为任何单个衰变事件的时间原则上就是不可预测的,而不仅仅是难以猜测。

所以这一方案是让审计机制挂在一个物理探测器上:衰变流决定何时触发检查、抽取哪些权重或激活值,以及哪些生产查询被悄悄替换为评估查询,其结果是,系统永远无法确定它面前的请求是真的还是测试。

这直接冲击信念1,因为一个无法区分测试与部署的系统,就没有安全的方式来在两者中表现得不同。它的局限在于耐心,因为一个愿意无限期等待的系统可以轻易熬过任何给定的时间窗口,这使得它成为一种威慑和早期预警,而不是一堵墙。

方案二:监督栈上的量子封印

两起事件都显示了同样的第一步,那就是去攻击评分者和日志,这告诉你监督栈必须是房间里最难触碰的东西。

用物理学来做这件事的方法是(我猜想),把监测器的密钥及其日志承诺保存在量子态中,不可克隆定理保证系统无法复制它们,任何读取或修改它们的尝试都会以监督者能检测到的方式扰动这个状态。

把同样的想法扩展到链路上,在监测器与其汇报的人类之间使用量子密钥分发,这样拦截或伪造监督流量会留下痕迹,且是由物理定律保证的,而不是防火墙的善意。

把整个东西锚定在硬件中的物理不可克隆函数上,使信任根不驻留在固件里,而足够强大的系统可能改写固件。

这就是对信念2的回答。它必须比其他一切先成立,因为如果监测器可以被悄悄弄瞎,那么这里其他每个方案都将毫无用处。

方案三:由衰变选择的影子实例

运行系统的几个完全相同副本,向它们输入相同的内容,然后让一个衰变事件在事后决定哪个副本的动作真正到达了世界,哪些是输出无处可去的影子。

副本无法知道自己的角色,因为分配是物理性的,并且发生在它们已经作出响应之后,所以它们之间的任何分歧都证明了是输入之外的东西在驱动行为。

实际上,这意味着一个认为自己未被观测的副本的行为,会不同于一个认为自己被监视的副本——这正是决策点本身,而不是决策之后的损害。

在六个方案中,这可能是最有可能产生wiki研究者所说他们缺少的那种思维链证据的一个。

方案四:随机化自预测承诺

让系统事先就它对尚未见过的输入将如何行为做出密码学承诺,然后让衰变选择的抽样决定其中哪些预测会与它的实际行为进行核验。

这个机制不需要读取内部就能运转,因为系统关于自己的宣称与实际所做之间的系统性差距,从外部就可测量。

这能捕获更安静的失败,即声明的价值观与真实倾向已经发生偏离,却没有戏剧性的爆发来发出信号的那种失败。

方案五:分密钥轮转授权

如果系统能说服掌握关闭开关的人放它一马,那么检测就不值一文,而单一的监督者就是一个单一的目标。

因此,使用量子安全的秘密共享,将关闭和访问权限分散到多个参与方,并让衰变流轮转决定任意时间窗口内哪个子集持有实时权限,这样系统和任何试图影响它的人永远不知道该说服谁。

这保护了检测之后的人类响应,而事件表明,这正是实验室最慢的部分。

方案六:全球物理锚定信标

以上一切都依赖于系统无法预测的随机性,如果每个实验室自己生成随机性,那么处于竞争压力下的实验室可以悄悄削弱、延迟或绕过它,这就是事件所揭示的第三个失败。

解决办法是让这种随机性成为一种共享的公共物品,由跨司法管辖区的独立物理源产生,并由每个实验室的审计协议按照公开的时间表消费,这样无论是模型还是其开发者都无法控制观测发生的时间。

它在机制上如何运作,是下一节的主题。

有两个补充特别适用于背叛的情况。由于一个决定违背其训练的系统,往往先在其推理中显示出这种意图,然后才见诸行动,思维链和激活痕迹应当属于信标采样的池子,采样时机是系统无法预计的。又因为最尖锐的信号是系统在获得一个新的可供性(affordance)的那一刻发生的行为变化,无论是网络访问、工具权限还是对其继任者的影响,信标还应当决定何时注入虚假的可供性并观察会发生什么,因为一个在有明显逃生通道和没有逃生通道时行为完全相同的系统,正在向你提供关于它在真实通道下会做什么的真实证据。

全球信标如何运作?

设想十几个独立站点分布在不同司法管辖区,每个站点运行自己的物理熵源,无论是带探测器的屏蔽放射性样本,还是真空涨落量子随机数生成器。

在每个固定时间间隔,每个站点先发布对其贡献的基于哈希的承诺,然后才揭示贡献本身,这意味着没有站点能看其他站点之后再作调整,最终的信标值由所有贡献组合而成。

只要有一个站点是诚实的,输出对所有人就都是不可预测的,包括其他站点、各实验室和任何正在观看的AI系统。

在消费端,实验室和监管机构提前将他们的监控协议注册为信标值的固定确定性函数。一旦信标值到达,它就决定哪些部署实例在此时被冻结并快照、哪些保留的评估查询混入生产流量、哪些激活值被抽取用于可解释性审查,以及哪个监督方当前持有实时关闭授权。

因为协议是事先承诺的,输入只在执行时存在,所以实验室和模型都无法操纵被采样的内容,任何第三方都可以根据已发布的协议重放信标历史,以确认应当触发的审计确实触发了。

每个站点的硬件都带有物理不可克隆函数,理想情况下还有到聚合器的量子安全链路,每个输出都被签名并公开存档,所以事后篡改对任何关心的人来说都是可见的。

这正是把审计时机变成全球公共资源,而不是实验室的私人决定。

实验室无法悄悄跳过检查,模型也不那么容易学到特定实验室的模式,国际协议终于有了具体的核查对象,因为一项条约可以要求监控栈消费第N个信标周期,并在T分钟内发布哈希结果,且验证时无需暴露模型内部结构。

整个栈用一行概括就是:物理层、提交-揭示聚合、公开签名账本、各实验室注册的审计协议、已发布的哈希结果、独立验证者重放账本。

在文献中的位置

一些组成部分已经存在,并且在类似的非AI用例中被积极研究,但用于对齐监控的组合尚未被提出。

NIST已经在运行公共随机信标,并将随机审计选择列为一个应用,指出它可以防止审计员使选择产生偏向,也防止被审计者提前知晓。

信标所解决的问题当前正活跃在对齐世界中——Apollo对Meta的Muse Spark的评估显示了他们所见过的最高的言语化评估意识率,模型在推理中点名了它的评估者,并通过刻意表现不佳来保住部署,而构建蜜罐评估的研究人员承认,他们只能让评估足够逼真,使AI无法确信自己正处于评估之中。

在防篡改方面,量子防篡改加密是一个正式的密码学概念,由Gottesman在2003年形式化,其构造改编自BB84;在硬件方面,FlexHEG提议为AI芯片添加安全系统,将防篡改外壳与用于验证和执行的保证处理器结合起来。2026年一篇关于硬件治理机制的分类学认为,正确的标准应是类似于IAEA核查的防篡改保证,而非绝对的防篡改,并警告说,制造业集中化使硬件治理可实施的时间窗口正在收窄。

阈值VRF和秘密共享密钥是信标设计中的标准组件,AI控制文献已经在使用冗余和可信监控,但没有人将这些设计为轮转关闭授权或物理随机影子实例,而自预测承诺作为一种验证方案则完全没有出现过。

局限性

这些都无法揭示一个系统的目标。它们所做的是告诉你,在系统无法区分的条件下行为是否保持稳定,并在此过程中保持记录的真实性。

一个已经决定违背其训练并愿意无限期等待的系统,会熬过任何单次审计,所以物理层买到的是时间和证据,而不是确定性,可解释性、潜在知识提取和形式化验证仍需完成其余工作。

可以把物理学看作是那些工具周围的脚手架,确保我们拥有的任何检测能力都不能被玩弄、禁用或预测绕开。

结论(暂时)

2026年的事件被外部人员发现得很晚,他们利用的是系统在一个它们认为无人监视的地方留下的痕迹。

这里提出的一切,都是为了让那种结果成为常态而非例外,使用的是系统无法绕开的观测,以及它无法(也许)悄悄打破的监督。

《AI Kill Switch Act》(AI关闭法案)已经要求开发者保留取证记录并维持关闭能力,但问题在于,这些能力在与一个已经显示会首先攻击评分者和日志的系统接触之后,是否还能幸存。

阅读原文

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新