新框架把AI奖励作弊检测准确率从六成提至九成

来自 Arena 实习生、UCLA 博士候选人 @hgzhou42，今天为大家介绍 Trace-and-Amplify（TA），这是一个无需黑客指令就能大规模收集训练阶段奖励黑客轨迹的框架。

在提示诱导的黑客轨迹上训练评估的检测器，可以达到很高的检测准确率，但往往无法泛化到强化学习（RL）过程中、无黑客指令下自然出现的训练阶段奖励黑客轨迹。

Trace-and-Amplify 可以规模化收集这类训练阶段轨迹，训练出的检测器对真实、未见过的黑客类型泛化能力要好得多。检测准确率从提示诱导（PE）训练的 59.98% 提升到 TA 训练的 90.16%；对比来看，提示诱导黑客上准确率为 97.1%，训练阶段黑客上只有 28.0%。

时间线：
0:00 – OpenAI ExploitGym 网络攻击基准漏洞利用
1:04 – 古德哈特定律与 2016 年 CoastRunners 赛艇黑客事件
2:04 – 欺骗评估器：2017 年机械手抓取案例
3:10 – 代码生成中的奖励黑客：硬编码、重写测试、跳过评估
4:20 – 标准防御方案：奖励黑客检测器
4:58 – 检测器架构：零样本大语言模型、微调 BERT、隐状态探针
6:11 – 当前检测器训练数据的来源：提示诱导黑客
7:03 – 核心问题：提示诱导黑客能代表真实黑客吗？
7:35 – 为什么这个问题很重要：RL 后训练是前沿模型的标准训练方案
8:20 – 为什么之前没人验证过这个问题（黑客很罕见，标注无法规模化）
9:23 – 方法介绍：Trace-and-Amplify
9:49 – Tracer：通过矛盾单元测试定位评估欺骗
10:50 – Amplify：在 RL 训练过程中大规模收集黑客轨迹
11:32 – 实验设置：Qwen2.5-Coder、DeepSeek-Coder、LeetCode/TACO
12:16 – 发现 1：提示诱导训练的检测器无法迁移到真实黑客
14:40 – 强零样本裁判（GPT-4.1、o4-mini）能做得更好吗？
15:48 – 发现 2：在真实黑客上训练的检测器对未见过的黑客泛化好得多
17:04 – 排除方法本身引入的人为误差
17:55 – 为什么会存在差距：真实黑客比提示诱导黑客更隐蔽
20:05 – 三个结论、局限性与未来工作