AI审稿人超过人类专家，研究者被指有利益关联

一项研究让 AI 模型 Opus 4.8 当同行评审员，人工评审 124 篇哈佛社会科学论文。各项指标上，AI 都赢了人类专家。论文从统计检验、形式模型到定性研究都有，链接挂在 gking.harvard.edu/peerless/。

帖子作者放了句话：抱怨 AI 生成评审质量低，经不起推敲。评论区并不全是附和。有人拿胜率说事——Gary King 在 134 篇论文里拿到 100% 胜率，几乎让人不安。另一位用户把这叫 124 篇论文上的完胜。两个数字同时出现，研究本身的样本量是 124 篇。

一位统计学家补了一句：在统计上赢过社会科学家，通常是个相当低的标准。

更实质的质疑指向研究者自己。Gary King 在 AI 审稿网站 rapidpeer 里有利益关系。有用户说，他算不上无偏的研究者；也有人表示，等独立研究者验证之后再做判断。

AI 评审打分能赢，不代表它能帮作者把论文改好。有用户提醒，要区分“评审被打了高分”和“它帮作者解决了真实问题”。一份清晰、详细的评审，也可能包含错误的反对意见。换句话说，AI 给出批评的方式，和批评本身是否有效，是两回事。也有人想要结果导向的测试：作者按 AI 意见改完，独立评审员再判断论文有没有真的变好。另一种更直接的后续，是让作者拿实际数据逐条核验 AI 的批评，哪些成立、哪些不成立。这些目前都还只是讨论。

评论区还有一个观察：AI 偏好 AI 自己生成的评审。这种偏好会不会影响录用结果，没人给出数据。同样没数据的是，这次胜率能不能复制到人文、工程等学科。样本全部来自社会科学，优势能不能外推，讨论里没有展开。