The Economist谈如何识别AI写作

The Economist（那是一个赠送链接，但唉，我猜赠送的阅读次数已经用完了——如果这个赠送链接让你觉得烦人，这里有一个存档链接）：

你可以通过比较人类和机器的写作来发现AI的典型特征。要这么做，你需要一个独特且熟悉的基准。The Economist选择了我们确信为人类所写、且读者会认得出的文章：我们自己的。我们设计了一项研究，请顶级LLM——OpenAI的ChatGPT、Anthropic的Claude、Google的Gemini和xAI的Grok——在不查阅网络的情况下，撰写我们文章的版本。（作为提示，我们向它们提供了我们实验性地添加在部分文章上的AI生成摘要。）这让我们得到了一个包含人类和AI创作的语料库，我们跨55,940个句子和120万词对它们进行了比较。为了确保我们检测到的是AI的怪癖而不是我们自己的，我们还将AI文本与CNN、《纽约时报》和《华盛顿邮报》的新闻报道进行了对照。1950年至2022年间出版的热门小说摘录提供了另一个测试。我们的发现令人惊讶。AI的文章可以通过词汇和标点的选择以及句子和段落的结构来区分。但它的特征并不是你可能预想的那样，部分原因是它的写作风格随着软件更新而改变了。这并不意味着LLM是伟大的作家：他们的文章缺乏明晰性和优雅，而且常常是公式化的。因此，那些渴望成为令人印象深刻（且是人类）的故事讲述者的人，应该在自己的文章中避免以下这些怪癖。

正中今日话题。

一些具体发现：

这种语言中有很多可以被称为乔治·奥威尔所说的“矫揉造作的措辞”。他痛斥那些用复杂的词汇和行话来“装饰简单陈述”以显得聪明的作家。奥威尔观察到，这些爱说教的人还相信“拉丁或希腊词汇比撒克逊词汇更宏大”。（机器人也同意：它们的写作中出现的拉丁语后缀比人类文本更多。）再看标点。许多人认为LLM会用破折号堆砌文章，但在最近的更新之后，情况并非如此。如今，只有Claude比人类作家使用更多的破折号，而ChatGPT在我们的研究中使用的破折号明显少于任何其他作者。人类欢呼吧——重新开始使用破折号吧。一个更好的识别AI生成文本的方法是寻找几乎没有任何标点的文本。LLM对此很“乔伊斯式”：它们使用的逗号和分号比人类少（而且几乎没有括号）。它们使用更少的标点，部分是因为它们写更长的句子——“and”是它们使用最过度的词——部分是因为它们不引用专家。

★