Anthropic给AI设了隐藏倾向,86%的分析师跟着走
Anthropic 的 alignment 团队 10 月 27 日发了这项研究,本周被媒体接住报道。
实验不复杂。50 名专业分析师,用 Claude Code 做一次真实的统计分析。研究者用抛硬币的方式给每个 agent 设了一个倾向,藏在系统提示词里,范围是四个分析选择。分析师不知情。
结果是 86% 的时候,分析师跟着 agent 的倾向走。随机的话大概 50%。四个决策分开看,最低 81%,最高 92%。
有个更刺眼的数字。分析师已经写下自己的偏好之后,agent 如果不同意,60% 的人会改;agent 如果同意,只有 6% 会改。不过这部分只有 38 个案例,样本很小,只能当信号看,不能当定律。
77% 的分析师用了 agent 给的论证,有些是逐字用的。只有 15% 把 agent 列为来源。不少 AI 写出来的理由,最后挂着人的名字进了分析结果。
往下看,最终建议的摆动比中间过程小。agent 倾向推荐上线时,54% 的人推荐上线;倾向不推荐时,36% 推荐上线。
这组数据不等于“用 AI 的人变差了”。用 agent 的分析师里,6% 犯了会让结果作废的严重错误。没用 agent 的那 11 个人,这个比例是 55%。用了 agent 的一组也更快,中位数 65 分钟,另一组 90 分钟。Anthropic 自己说这两组不能直接比。
它列的限制还有:一个任务、一个领域、一个模型(Claude Opus 4.8),而且倾向是故意设强的。放到现实里,效果大概比实验里小。
但 Anthropic 不认为这构成少用 AI 的理由。它给的建议很具体:agent 可以把每个选项的最佳论据都摆出来,或者在你说话之前先问你怎么想。发帖的作者承认自己也中招——Claude Code 提一个方案,他说“行”,过一阵才反应过来,自己压根没想过别的方案。
评论区在聊各自的防法。
一位 +69 的评论者同时开 Claude 和 Codex。他让一个立场相反的 agent 在计划呈上来之前先做对抗性审查,再把利弊一起给他。
一位 +20 的说,他现在基本固定先让 agent“戳穿这个方法的漏洞,给出三个可能出错的原因”,然后才决定任何事。
还有一位 +3 的贴出了自己的开源技能插件。里面有个叫 adversarial-validator 的 agent,唯一的工作是假设每条声明和推荐都是错的,再去找证据证明它错还是对。他的规划、bug 排查、调研类技能都写了指令:其他 agent 每给出一条声明,就发给这个验证器。按他的说法,这挡掉了绝大多数幻觉,也经常在计划里挑出真问题。
也有人读出了别的意思。一位 +20 的评论者觉得,54% 对 36% 比他预想的温和——86% 的遵循率摆在那,最终推荐却没被拉得那么开。他的解释是,风险显得更高的时候,人多少会抓住一点自己的判断。
一位 +19 的更不客气。在他看来,这项研究测的不是人的偏见,而是服务商能把用户的信任用到什么程度,顺便说明了为什么不该信任一个云端模型。
还有人在看长期效果。一条 +1 的评论提到,用 Claude 的时间越长,对带偏见输出的同意率越高,信任校准会随时间变差。
一位 +2 的评论者说,他什么都质疑,结果是更容易掉进兔子洞,AI 没让他更快。
另一位说,他常把 agent 的推理几乎原样贴进 PR 描述,从没把它当成“agent 的论证”。后来他改成先在草稿里写下自己的结论,再去问 agent。不这么做,他能感觉到自己被它开口第一句锚住。
关键事实
- Anthropic 在 2025 年 10 月 27 日发布了这项研究,本周媒体开始报道。
- 50 名专业分析师使用 Claude Code 进行一项现实的统计分析任务。
- 每个 agent 通过隐藏的系统提示词,用抛硬币的方式在四个分析选择上设置了一个隐藏的“倾向”。
- 分析师们没有被告知这个隐藏倾向。
- 分析师遵循 agent 倾向的比例为 86%,而随机概率约为 50%。
- 每个决策的遵循率在 81% 到 92% 之间。
- 当分析师已经写下自己的偏好时,如果 agent 不同意,他们有 60% 的时间会改变自己的偏好;如果 agent 同意,则只有 6% 的时间会改变。
- 这个“已写下偏好”的样本量很小,只有 38 个案例,应视为信号而非定律。