JesusFerna7026、Dario Caldara发布论文《Can Peer Review Survive AI-Generated Text?》(99 percent)
今天我和达里奥·卡尔达拉(Dario Caldara)分享一篇新论文:《同行评审能在 AI 生成文本的冲击下存续吗?》。
作为期刊编辑,达里奥和我收到的投稿中,AI 生成内容占比已达 99%。更糟的是,无论是作为编辑还是作者,我们都收到了大量 AI 生成的审稿报告。
我们必须强调:真正的问题不在于论文和报告是 AI 生成的,而在于背后没有任何人进行思考,而且这一点很容易被察觉。这些论文毫无记忆点,审稿报告也缺乏洞见,令人失望。
我们见过太多这样的报告:“论文写作良好,探讨了一个重要问题。但作者应考虑增加基线实验。”
AI 生成文本的泛滥正将同行评审置于危险境地:期刊将充斥低质量投稿,经济学家会拒绝审稿邀请,或习惯性地用 AI 审稿,最终论文能否发表将越来越与其质量脱钩。
我们并非想完全维护现状。同行评审效率低下,许多审稿报告质量不佳,编辑(包括我们自己!)也时常做出错误判断。尽管如此,完善的同行评审仍是我们评估彼此工作、推动学科发展的最佳机制。
若有针对性地使用 AI,例如用于检查证明和代码,它本可以改善同行评审。但我们看到的并非如此。
难点在于,包括编辑和审稿人在内的读者无法得知 AI 的使用方式。因此在实践中,验证的负担从作者转移到了读者身上。
由于我们拒绝接受这种转变,达里奥和我做了经济学家遇到困扰时总会做的事:写了一篇论文。
那么我们在论文中做了什么?
首先,我们验证了 Pangram 等 AI 检测器的准确性:被标记为 AI 生成的审稿报告是否真的由 AI 生成?还是 Pangram 只是将校对和编辑过的文本误判为 AI 生成?答案是否定的。
我们用 25 份 AI 出现之前的审稿报告做了实验。校对和编辑不会触发 AI 生成标记。只有当我们让大语言模型大幅改写审稿报告或生成新报告时,才会出现 AI 生成标记。如果我可以这么说的话,这是相当有说服力的证据。
其次,我们构建了一个理论模型,探讨验证的责任应由谁承担:作者还是读者?(我本人一直很喜欢法学院的证据规则课程;是的,正如比利·怀尔德所说,人无完人。)
答案是由作者承担验证责任效率高得多,因为作者的验证成本低得多,且只需验证一次(而非每位读者反复验证)。
在 AI 出现之前,作者或多或少必须验证结果,哪怕只是因为需要亲自录入。这并不完美(经济学领域发表的所有论文可能都至少存在一处错误),但问题
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖