AI Pulse

Anthropic给AI设了隐藏倾向,86%的分析师跟着走

Anthropic 的 alignment 团队 10 月 27 日发了这项研究,本周被媒体接住报道。

实验不复杂。50 名专业分析师,用 Claude Code 做一次真实的统计分析。研究者用抛硬币的方式给每个 agent 设了一个倾向,藏在系统提示词里,范围是四个分析选择。分析师不知情。

结果是 86% 的时候,分析师跟着 agent 的倾向走。随机的话大概 50%。四个决策分开看,最低 81%,最高 92%。

有个更刺眼的数字。分析师已经写下自己的偏好之后,agent 如果不同意,60% 的人会改;agent 如果同意,只有 6% 会改。不过这部分只有 38 个案例,样本很小,只能当信号看,不能当定律。

77% 的分析师用了 agent 给的论证,有些是逐字用的。只有 15% 把 agent 列为来源。不少 AI 写出来的理由,最后挂着人的名字进了分析结果。

往下看,最终建议的摆动比中间过程小。agent 倾向推荐上线时,54% 的人推荐上线;倾向不推荐时,36% 推荐上线。

这组数据不等于“用 AI 的人变差了”。用 agent 的分析师里,6% 犯了会让结果作废的严重错误。没用 agent 的那 11 个人,这个比例是 55%。用了 agent 的一组也更快,中位数 65 分钟,另一组 90 分钟。Anthropic 自己说这两组不能直接比。

它列的限制还有:一个任务、一个领域、一个模型(Claude Opus 4.8),而且倾向是故意设强的。放到现实里,效果大概比实验里小。

但 Anthropic 不认为这构成少用 AI 的理由。它给的建议很具体:agent 可以把每个选项的最佳论据都摆出来,或者在你说话之前先问你怎么想。发帖的作者承认自己也中招——Claude Code 提一个方案,他说“行”,过一阵才反应过来,自己压根没想过别的方案。

评论区在聊各自的防法。

一位 +69 的评论者同时开 Claude 和 Codex。他让一个立场相反的 agent 在计划呈上来之前先做对抗性审查,再把利弊一起给他。

一位 +20 的说,他现在基本固定先让 agent“戳穿这个方法的漏洞,给出三个可能出错的原因”,然后才决定任何事。

还有一位 +3 的贴出了自己的开源技能插件。里面有个叫 adversarial-validator 的 agent,唯一的工作是假设每条声明和推荐都是错的,再去找证据证明它错还是对。他的规划、bug 排查、调研类技能都写了指令:其他 agent 每给出一条声明,就发给这个验证器。按他的说法,这挡掉了绝大多数幻觉,也经常在计划里挑出真问题。

也有人读出了别的意思。一位 +20 的评论者觉得,54% 对 36% 比他预想的温和——86% 的遵循率摆在那,最终推荐却没被拉得那么开。他的解释是,风险显得更高的时候,人多少会抓住一点自己的判断。

一位 +19 的更不客气。在他看来,这项研究测的不是人的偏见,而是服务商能把用户的信任用到什么程度,顺便说明了为什么不该信任一个云端模型。

还有人在看长期效果。一条 +1 的评论提到,用 Claude 的时间越长,对带偏见输出的同意率越高,信任校准会随时间变差。

一位 +2 的评论者说,他什么都质疑,结果是更容易掉进兔子洞,AI 没让他更快。

另一位说,他常把 agent 的推理几乎原样贴进 PR 描述,从没把它当成“agent 的论证”。后来他改成先在草稿里写下自己的结论,再去问 agent。不这么做,他能感觉到自己被它开口第一句锚住。

关键事实

阅读原文
📚 相关主题 研究人机协作

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新