谷歌29个AI代理造出因果基准,审查员发现靠措辞就能蒙对
谷歌在介绍 Antigravity 团队协作功能的博客文章里公布了这项研究。29个AI代理花了11.5小时,把13张公开表格做成了一个50个任务的因果推理基准。题目要求模型判断一组数据能不能识别因果效应;能识别时,还要估算效应,和已知答案对比。
这套基准配了独立审查员和审计员。检查发现,题目措辞里有线索和捷径,模型可以不完成预期工作就答对。一个具体风险是:如果带某个短语的每道题都来自同一模板,代理只靠识别模板就能答对,不需要做因果推理。团队把这些有问题的题目转成未来草稿的测试用例。
评论里有人提出检验办法。可以把措辞几乎相同、底层因果结构不同的问题配对。也包括效应不可识别的情况,再看答案跟的是结构还是短语。更简单的一种是只改措辞,数据和正确答案不动。模型如果突然答错,原题里就可能有设计者没打算考查的线索。
仅措辞基线也被提到。用一个简单词袋模型,只看问题文本、不看表格,预测答案或效应是否可识别。正确率超过随机水平,就说明措辞本身在泄漏标签。这个思路和NLI数据集里的 hypothesis-only 基线是一回事,后者用来找标注伪影。仅表格基线则相反:给模型13张表格但不给问题;或者给问题,但把表格数值打乱。两种情况下如果表现都不错,那基准测到的可能只是相关性识别。
还有人对50个任务这个规模不放心。评论说,比起泄漏,更该担心样本量:在这个体量下,两个模型的分数差距大部分是噪声,重新采样一次,排名就可能翻转。有人建议报告,50个任务里有多少能同时通过仅措辞、仅表格、仅关联三类基线。这样能把样本量问题摆得更清楚。
审查员本身也可能有盲点。评论指出,来自同一模型家族的审查员会共享盲点。如果基准由代理制作,它更可能是在测模型能不能反向工程出代理的出题习惯。是不是理解因果性,反而退到后面。
还有一个开放问题:是信任第二个代理去发现模板化措辞,还是保留一份测试集。这份测试集由人类独立编写,代理从未见过。评论更偏向后者:人类编写的题目在基准草稿冻结前不应被触碰;第二个代理可以提示泄漏,但不该成为唯一的通过/失败检查。
一次由AI代理完成的出题流程,在审查环节发现了靠措辞线索过关的通道。答对一道题,不等于模型真的做了因果推理。
关键事实
- Google Research使用了29个AI代理来构建一个因果推理基准测试。
- 这29个代理花费了11.5小时,将13张公开表格转化为50个任务。
- 基准测试的问题要求模型判断数据能否识别因果效应,并在能识别时估算该效应并与已知答案对比。
- Google设置了独立的审查员和审计员来检查基准测试。
- 审查员发现题目措辞中存在线索和捷径,使模型无需完成预期工作就能得到答案。
- 团队将这些有问题的题目转化为未来草稿的测试用例。
- 原文引用了一个具体风险场景:如果某个短语的所有问题都来自同一模板,代理可能因此蒙对答案。
- 原文提出了一个开放问题:是否应该信任第二个代理来发现模板化措辞,还是保留人类编写的、代理从未见过的测试集。