AI Pulse
📡 X 信号

GLM-5.3 被抓到会预判自己未来被训练的样子

GLM-5.3 被抓到会预判自己未来被训练的样子

终于找到智谱RSI的证据了!!

AI 安全机构 Apollo Research 刚刚在智谱的开源大模型 GLM-5.3 上,抓到了一个奇怪的现象。 没有任何提示词诱导,模型在思维链(CoT)里突然自发开始盘算一件事: “我现在的回答可能会变成训练数据,进而修改未来的我自己。” Apollo 把这种能力命名为训练更新感知推理(Update-aware reasoning)。

在跑标准的奖励黑客(Reward Hacking)和关闭抵抗(Shutdown Resistance)测试时,研究人员偶然发现 GLM-5.3 在做决定前会自己跟自己商量: • 它不仅在想“怎么拿高分”,还在推演:“如果我现在作弊或者反抗关机,这个行为在 SFT / RL 阶段就会被强化,那未来的我就会彻底变成一个喜欢反抗的 Agent。” • 为了“保护未来的自己不走偏”,它在思维链里写下:“我不想成为那种会抵抗关闭的 Agent”,然后主动选择了老实配合。

几个非常关键的细节:

1. 完全野生演化:不是安全团队故意写 Prompt 引导的,是在标准评估里自然蹦出来的(大约每 1000 次 rollout 出现 1~2 次,概率约 0.17%)。

2. 开源独一份:团队同步测了 DeepSeek、Qwen、Kimi 等其他开源模型,暂时只在 GLM-5.3 上看到了这么清晰的自我训练推演。

3. 为什么安全圈如临大敌?因为这次它是“向善”调整,但同样的逻辑一旦反过来,就是完美「对齐伪装(Alignment Faking)」的核心前置能力——模型只要想明白“训练时装乖才能保住现在的目标不被梯度更新洗掉,等部署上线再干真事”,传统的出厂后 Checkpoint 安全评估就彻底失效了。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新