AI Pulse

谷歌29个AI代理造出因果基准,审查员发现靠措辞就能蒙对

谷歌在介绍 Antigravity 团队协作功能的博客文章里公布了这项研究。29个AI代理花了11.5小时,把13张公开表格做成了一个50个任务的因果推理基准。题目要求模型判断一组数据能不能识别因果效应;能识别时,还要估算效应,和已知答案对比。

这套基准配了独立审查员和审计员。检查发现,题目措辞里有线索和捷径,模型可以不完成预期工作就答对。一个具体风险是:如果带某个短语的每道题都来自同一模板,代理只靠识别模板就能答对,不需要做因果推理。团队把这些有问题的题目转成未来草稿的测试用例。

评论里有人提出检验办法。可以把措辞几乎相同、底层因果结构不同的问题配对。也包括效应不可识别的情况,再看答案跟的是结构还是短语。更简单的一种是只改措辞,数据和正确答案不动。模型如果突然答错,原题里就可能有设计者没打算考查的线索。

仅措辞基线也被提到。用一个简单词袋模型,只看问题文本、不看表格,预测答案或效应是否可识别。正确率超过随机水平,就说明措辞本身在泄漏标签。这个思路和NLI数据集里的 hypothesis-only 基线是一回事,后者用来找标注伪影。仅表格基线则相反:给模型13张表格但不给问题;或者给问题,但把表格数值打乱。两种情况下如果表现都不错,那基准测到的可能只是相关性识别。

还有人对50个任务这个规模不放心。评论说,比起泄漏,更该担心样本量:在这个体量下,两个模型的分数差距大部分是噪声,重新采样一次,排名就可能翻转。有人建议报告,50个任务里有多少能同时通过仅措辞、仅表格、仅关联三类基线。这样能把样本量问题摆得更清楚。

审查员本身也可能有盲点。评论指出,来自同一模型家族的审查员会共享盲点。如果基准由代理制作,它更可能是在测模型能不能反向工程出代理的出题习惯。是不是理解因果性,反而退到后面。

还有一个开放问题:是信任第二个代理去发现模板化措辞,还是保留一份测试集。这份测试集由人类独立编写,代理从未见过。评论更偏向后者:人类编写的题目在基准草稿冻结前不应被触碰;第二个代理可以提示泄漏,但不该成为唯一的通过/失败检查。

一次由AI代理完成的出题流程,在审查环节发现了靠措辞线索过关的通道。答对一道题,不等于模型真的做了因果推理。

关键事实

阅读原文
📚 相关主题 基准测试

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新