AI Pulse

Anthropic的Claude“水印”文本掺假是对写作的亵渎

Anthropic的Claude“水印”文本掺假是对写作的亵渎

本周我写到,Anthropic宣布全球所有Claude模型很快将开始“水印”它们生成的一切内容,包括文本,以遵守这项欧盟法规。我们只能猜测这到底会如何运作,因为Anthropic甚至没有给出一丁点模糊的描述——尽管这份公告的标题荒谬而侮辱性地写着《Claude如何标记AI生成内容》。

我最初的猜测是,他们可能会在文本中隐藏不可见的非打印Unicode字符。纯属随口一说。结果发现他们并不打算这么做。他们要做的是一种隐写术:在推理时选择词语(或其他token输出)会留下指纹,之后或许能以概率方式被检测出来。

我最初猜“不可见字符”,不是因为我没想到语义上的措辞选择技术,而是因为我是个傻瓜,竟然相信了Anthropic对自己要做之事的描述。他们最初的支持文档声称:

> 当受支持的Claude模型生成文本时,它会在文本本身直接织入一种难以察觉的水印。你不会看到它,它也不会改变Claude回复的意义、质量或可读性。

他们说“难以察觉”,说“不会改变意义、质量或可读性”。这是他们的原话。不是“几乎难以察觉”,不是“略微改变意义、质量或可读性”。这在我看来说得通,因为这正是我个人使用任何工具时所想要的——不,是所要求的。一个工具,为了在文本中嵌入暗示其来源的隐藏线索,而牺牲一丁点的清晰、连贯、意义、质量,这是不可接受的。我会这样要求,也必须这样要求。而Anthropic最初的支持文档毫不含糊地声称他们的系统就能做到这一点。所以,如果那是真的,我看不出除了在文本中隐藏不可见字符之外还能做什么。

我的错误在于相信了Anthropic的说法:他们的系统不会掺假、不会败坏其模型生成文本的语义。事实上,这正是他们计划要做的。我居然相信了一份名为《Claude如何标记AI生成内容》的文档中的任何一个字,而这份文档根本没有解释Claude如何(或将如何)标记AI生成内容。我该去检查一下脑子。

实际运作方式

昨天,Anthropic在另一个完全不同的网站(而不是那篇什么都没解释的原文《Claude如何标记AI生成内容》)上发布了《Claude的文本水印如何运作》,这篇文章确实以通俗易懂的方式解释了它的工作原理。我稍后会回到Anthropic这篇高度委婉、略带误导的新描述上来。

关于这个主题有不少研究,其中一些我也在下面给出了链接。但关于这项技术背后总体思路的最佳描述,是James Padolsey的一篇互动文章《AI文本水印如何运作》。这是一篇非常清晰有力的读物,互动元素精彩地阐释了主要概念。A+作品。如果你对此有任何兴趣,我敢说你一定要读——并且动手玩一玩——Padolsey的文章。

下面是我从外行角度做的高层总结。如果你掷一枚硬币N次并记录结果,你能以一定程度的确定性判断这枚硬币是否公平或存在偏差。LLM在其流行形态中是非确定性的。向同一个模型问同一个问题,你往往会得到至少略有不同的答案。可能意义相同,但措辞不同。在生成下一个token的每个决策点上,模型都要做出选择。借助这些语义水印技术,模型会根据可称为“绿色”和“红色”的词语列表,对某些token做出不同的选择。在每个决策点,它们从绿色列表中选择词语的概率会比从红色列表中选择略高。这并不意味着它们永远不会选择红色列表中的词,只是说,与没有这种掺假标记技术时相比,它们选到红色词的可能性更低了。(就像一枚偏向51比49的硬币,平均每100次仍会有49次出现“反面”朝上。)

词语或词组会在每个“下一个token”生成点被确定性地即时分入绿色和红色列表。因此,有时一个特定词会在绿色列表里,有时又在红色列表里。持有密钥的人可以确定在每个token生成点某个词在哪个列表里(这就是水印被检测的方式);没有密钥的人则无法确定。这意味着永远不会存在一份Claude偏好或回避的词语列表。

就掷硬币而言,N越大——你掷的次数越多——你就越能确信硬币是公平的还是偏倚的。这种语义水印也是如此。文本中的词越多,分析文本是否由特定AI模型生成就越准确。如果掷硬币次数太少,你根本无法对硬币的公平性建立任何信心。如果词语(或token)太少,也就无法对一段文本是否由AI生成建立任何信心。

给定一段文本,检查它是否带有特定水印系统的痕迹:如果被标记为绿色的词多于预期、被标记为红色的词少于预期,那么这段文本就可以以一定程度的置信度被标记为——由应用了特定密钥水印系统的AI系统生成,或仅仅是修改过。判断的置信度显然会因文本大小以及赋予绿色和红色列表中词语的随机权重而有显著差异。但只有Anthropic能确定文本是否看似由Claude生成,而且Anthropic只能检测由Claude应用的水印。Claude无法检测例如Gemini生成的隐藏水印信号,Gemini也无法检测Claude产生的隐藏水印信号,因为每个实现都依赖于仅由LLM提供商持有的密钥。

对技术前提的反对意见

我对此的一个根本问题是:没有任何两个同义词承载完全相同的含义。“He leaped at the chance”和“He jumped at the opportunity”是非常相似的句子,表达大致相同的情感,但它们并不相同。写作时我们选择的每个确切词语都很重要。我希望我使用的任何LLM在每个决策点都选择最好、最精确的词。我接受的一个明显约束是时间和计算。在执行快速推理、每个token有一定成本的约束下,我想要最好的词。这个约束与人类写作相符。我如果花更长时间,肯定能写出更好的专栏。我在写作时会考虑每一个词语和标点选择应该投入多少心思。当我的直觉告诉我应该时,我会在特定段落、句子甚至个别词语选择上花更多时间。

换言之,这些是必要的权衡。这些因素都符合我的利益:速度、成本、质量。理想情况下,我希望以瞬时生成速度和零成本获得完美写作。但这些都不可能。计算并非免费(而且使用领先模型的云端LLM推理实际上很昂贵)。推理并非瞬时。而伟大的写作,无论是自然的还是人造的,只能接近完美。

生成文本给我时,除了我的需求之外还有任何其他因素参与其中,这种想法显然令人反感。

这不仅仅是关于有人打算把生成的文本冒充为自己天然作品的问题。甚至不是关于LLM对人工书写作品进行校对的问题。Anthropic说的是,所有新的Claude模型都将对它们生成的超过200个token(约150个词)的每一段文本进行掺假,包括它呈现给用户阅读的一切内容。因此,即使在用户与Claude之间的私人对话中——这段对话除了用户之外永远不会被任何人读到——Claude也将开始以统计可预测的方式标记其输出为名做出词语选择,而不是最大化清晰性和精确性。

即使是今天所谓的顶级模型,也已然明显缺乏清晰性。Claude、ChatGPT、Grok等在“写作能力”上比大多数人类更强,写出的文章也比中等水平的人要好。但:废话。大多数人的写作很糟糕。“普通人”相当愚蠢,而且一半人比那更愚蠢。还有很多聪明、有趣的人,写作却一塌糊涂。所以,尽管LLM令人印象深刻,但门槛很低。我从这些模型中看到的最优秀写作,也比我愿意为消遣而读的任何东西更差。而现在Anthropic说,他们要让这些变得更差,故意地,为了对我没有任何益处的目的?哪怕只是稍微变差?

去你妈的。

对欧盟法规的反对意见

说到反对意见,推动这一切的欧盟相关法规《AI生成内容透明度行为准则》,是繁文缛节、保姆国家式的白日梦废话。以下是Ben Thompson本周在付费墙内的Stratechery更新中的总结:

> 该法规适用于超过200个token的文本。
> 提供商必须在其服务条款中规定用户不得移除水印。
> 该解决方案应当在规避“常规处理手段”方面具有稳健性,例如屏幕截图、扫描和OCR、复制粘贴、翻译等。

从字面上看,合规的LLM服务条款必须禁止用户改写来自合规模型的输出,因为词语选择本身就是标记。但试图将这种荒谬、不切实际、助长猎巫的法规强加给整个世界的并不是欧盟。那是Anthropic干的。

遵守这一规定,尤其是针对文本,只会给诚实用户制造麻烦。不诚实的用户试图将AI生成的文本冒充自己写作(学生、员工、无论谁)只需通过不合规的AI改写工具就能规避检测。

James Padolsey——我在上面链接过他对这些机制如何运作的互动可视化解释——在题为《Anthropic的弱水印迎合了一部弱法律》的帖子中解释了这一点(如果你觉得耳熟,我今天早些时候在单独一篇帖子中链接过它):

> 催生这部法律的同一种想法,本可以应用于计算器问世之时——如果计算器的输出会通过痕迹暴露自身的话。谢天谢地,大脑产生的总和与计算器产生的总和没有区别对待。拼写检查器也一样。只有当工具强大到能写出完整句子时才开始怀疑辅助,这不是一个有原则的界限。这是对困难本身附加的道德溢价。
>
> 然而,Anthropic选择了一种一刀切的模型级实施,似乎超出了法律的最低要求。这或许是为了合规方便而做的工程,但它抛弃了法律明确试图保留的区分。最终得到的信号宽泛到足以牵连无害的、辅助性的使用,同时又脆弱到足以被有动机的人通过大量重组而移除。它有可能把怀疑集中在普通用户和辅助性用户身上,同时对蓄意欺骗仍然最无力。

Padolsey是Declaude的创造者,这是一个极其简单的Web应用,让你“粘贴AI味道的文本,得到相同内容的平实散文”。Declaude原本的用途是清除文本中Claude那种甜腻人格的臭味(无论文本是由Claude还是其他LLM创建的),但如果Anthropic坚持其宣布的计划,开始对Claude生成的所有文本掺假,Declaude也将成为一种复制粘贴、多一步操作就能消除这些标记的方式。Declaude本身已经很有趣、有用了,但它也说明了这项欧盟法规在散文方面是多么考虑不周和徒劳无功。

Google SynthID

Google有一套他们称之为SynthID的水印系统,应用于AI生成的图像、视频、音频和文本。在这篇文章中我只关心文本。对于多媒体,嵌入的水印可以是文件内的元数据,确实不会影响观看或收听时的体验质量。对于文本,我们谈的是实际被选中的词语。摘自Google DeepMind对SynthID的“AI生成文本”部分的描述:

> 我们已将SynthID扩展到对Gemini应用和网页体验生成的文本进行水印和识别。大语言模型一次生成一个词(token)。根据它接下来被生成的可能性,每个词会被赋予一个概率分数。因此,对于像“My favorite tropical fruits are mango and…”这样的句子,“bananas”一词的概率分数会高于“airplanes”一词。SynthID调整这些概率分数以生成水印。它对人类眼睛来说不易察觉,也不会影响输出质量。

在一个群聊中,一位朋友引用了上述内容,我回答说,如果一个聊天机器人写出“My favorite tropical fruits are mango and airplanes”,我确信我他妈的会注意到。然后另一位朋友回复了这样一张图:

几天后,我想到那个还是忍不住笑。

但Google这种荒谬的描述,恰恰戳穿了他们自己“不易察觉”的说法,也表明这些生成文本指纹识别方案背后的开发者对真正的写作技艺是多么不屑一顾。当然,“bananas”的概率分数高于“airplanes”,因为飞机不是水果。但“pineapple”呢?句子应该补成“mango and bananas”还是“mango and pineapple”?这是个好问题,而一个LLM应该选择bananas而不是pineapple(或coconut、guava、papaya……)的唯一可接受答案是:它判定bananas最符合文本预想的意义、语气和情感。而不是因为bananas在水印“绿色”列表上、pineapple在“红色”列表上,尽管pineapple可能更合适。Google自己对SynthID工作原理那种调侃式的描述,实际上恰恰刻画了该机制如何扭曲它生成的文本。

他们说你不会注意到,因为如果只是为了指纹识别而在bananas和pineapple之间选了前者,好吧,两者都是热带水果,谁在乎呢。但说这种差异“对人类眼睛不易察觉”纯属胡扯。banana和pineapple之间的语义差异,对人类眼睛的可察觉程度,就像二者味道对人类舌头的差异一样。

如果它真的生成“My favorite tropical fruits are mango and airplanes”,那会非常愚蠢,但并不令人反感,因为我们都会意识到发生了完全离谱的事情。令人反感的是,在SynthID这样的系统下,指纹识别决策由密钥驱动,我们无从知道它补完为“mangos and bananas”是因为bananas被判定为最佳下一个token,还是因为bananas在“绿色”词语桶里。这让每一个词语选择都变得可疑。

这是发表在《自然》上的一篇论文,Google的SynthID团队在将其投入Gemini(原名Bard)生产环境后发表了他们的工作:

> 我们分析了约2000万条带水印和未带水印的回复,并计算了赞和踩的比率(两者均按收到的赞和踩反馈总数计算)。我们发现,两个模型的赞率相差0.01%(带水印模型更高);踩率相差0.02%(带水印模型更低)。我们发现这两个差异在统计上均不显著,且完全在95%置信区间内。
>
> 从这个实验中,我们得出结论:在各种各样的真实聊天机器人交互中,由人类判断的回复质量和实用性的差异可以忽略不计。随后,非扭曲性的SynthID-Text已投入生产,目前正在为Gemini和Gemini Advanced中的回复添加水印。据我们所知,这一评估代表了在大规模生产系统中首次进行的此类系统性水印研究。

对此,我要说:

- Gemini/Bard的赞/踩按钮并不是评估质量影响的良好实验。如果一个聊天机器人告诉我“My favorite tropical fruits are mango and bananas”而不是“mango and pineapple”,我不会因为它选择了哪种水果而给这条回复点踩。如果它说的是“airplanes”,我会点踩,没错,但那是稻草人。(《自然》上的论文甚至也用了“My favorite tropical fruits are mango and ...”这个例子作说明,但在论文中,考虑的仅有的四个下一个token按概率分布依次是mango、lychee、papaya和durian。没有airplanes。而且,方便的是,在论文的例子中,水印“锦标赛”的“赢家”恰好是mango,也就是没有水印时会被选为最佳的那个词。)
- “由人类判断的回复质量和实用性的差异”“可以忽略不计”,这并不意味着不可察觉。他们真正的意思是,它只是稍微差一点,而且每个人都要么笨到注意不到,要么漠不关心到不在乎。
- 人们普遍认为Gemini在质量上落后于ChatGPT和Claude。也许他们把SynthID-Text投入生产正是众多原因之一。我个人同样认为Gemini的散文更差。也许SynthID的使用与我(以及公众共识)认为Gemini是二流聊天机器人这一事实无关——但在那种情况下,也许正是因为Gemini是二流聊天机器人,所以当Google开始在其结果中混入由SynthID驱动的token时,差异才显得“可以忽略不计”。如果你的常规咖啡本来就是二流的,那么你的餐厅顾客更有可能注意不到你把普通咖啡换成了Folgers速溶咖啡。

Anthropic

现在,终于回到Anthropic昨天发布的《Claude的文本水印如何运作》。我有一些评论。

> 总结一下:
>
> 我们使用的是一种对Claude输出的质量或内容没有实际影响的水印方法;
> 带水印与不带水印文本之间的差异,读者无法分辨;

翻译一下:具体词语并不重要,而且我们认为没有人会仔细阅读任何东西。

> 文本中没有添加任何东西,也没有隐藏字符;

这一点本来一开始就该说清楚。

> 水印不会是Claude特有的。自8月2日起,欧盟要求服务其市场的AI提供商标记AI生成的内容。其他主要模型开发商也签署了同样的《行为准则》,并将实施自己的水印。

没有任何其他AI提供商表示,他们将在欧盟之外应用这种标记,对生成的所有文本进行掺假。

> 以句子“The weather today was cold and…”为例。下一个词极不可能是“sugary”,但很可能是“overcast”或“grey”。在大多数情况下,模型最终选择这两个词中的哪一个,对读者来说关系不大——句子的意义无论哪种方式都大致相同。在这种情况下,选择由随机数决定。

争辩grey与overcast“对读者关系不大”,正是我的论点核心:这整个做法是对写作——或阅读——意义的反常掺假。它在某些方面的微妙之处反而使其更加反常,因为它偷偷摸摸。

> 在内部测试中,我们没有看到水印对Claude文本的内容、创造力和可读性有任何影响。在介绍我们所使用技术的SynthID-Text论文中,Google DeepMind通过向一部分Gemini流量提供使用水印的模型并比较赞和踩评分来测试这种影响。他们发现与未加水印的模型没有统计学显著差异。在一项对照研究中,人类评分员并排比较带水印和未带水印的答案,没有看到质量差异。

关于赞/踩数据在评估SynthID式词语偏置水印是否让文本变差方面毫无价值,请看我上面的论证。按定义,它必然让文本变差,除非底层LLM模型的评分是错误的,因为水印算法的本质要求它有时增加选择更差词语的概率、降低选择模型最佳选择的概率。问题只是差多少。Google的拇指计数数据只能说明,它没有差到让Gemini用户去点踩按钮。

> 水印不会改变阅读者的意义或体验,但如果你想事后检查文本是否可能由Claude生成,水印让你能够做到。

不,不能。因为整个方案依赖于仅由AI提供商持有的密钥,它只允许Anthropic——而不是“你”——去检查任何东西。

> 当Claude校对人类书写的文本时,它返回的内容通常只经过少量编辑;因为几乎所有词都是那个人自己的,水印几乎没有(如果有的话)可以附着的地方。根据文本的长度以及Claude编辑的力度,这些改动可能不足以使Claude的参与被检测出来。Claude写得越多,它需要做的决定就越多,水印的空间就越大。

翻译一下:没有人能再用Claude来校对自己的文章,除非他们愿意冒整篇文章被标记为Claude生成的风险。

> 例如,一旦模型写下了“2 + 2 =”,下一个token就有一个非常明确的最佳选择(如果模型在完成加法,没有一个答案能像“4”一样好;如果它在谈论George Orwell的《一九八四》,没有一个答案能像“5”一样好)。水印的“轻推”不会用在这里。出于同样的原因,代码——在很多情况下必须精确——通常比某些其他形式的文本带有更少的水印。
>
> 话虽如此,在代码中特定词语或术语之间存在任意选择的领域,水印可以使用,例如代码内的注释。但按定义,它对实际生成的代码产生的影响微乎其微。

翻译一下:我们重视编程代码的精确性;在散文中我们并不重视。

而在为一种以“具体词语并不重要”为前提的文本掺假方案辩护的语境中,援引George Orwell的《一九八四》并加以赞许,这实在太过分了。我是说,这他妈的到底怎么回事?Orwell!

最后,关于他们为什么这样做:

> 我们实施水印是为了遵守欧盟《人工智能法案》。Anthropic与另外几家主要AI模型提供商以及总共约190个签署方一起,于2026年7月签署了欧盟《AI生成内容透明度行为准则》。这要求AI系统提供商使用“标记”AI生成文本的方法。我们之所以在发布时全球应用水印,是因为我们还没有可靠的方法按地区限定范围。

而说这话的公司,《金融时报》刚刚报道,距离IPO只有几周时间,目标估值2万亿美元,这将使其成为全球市值最高的10家公司之一——截至今天,排在第7位,介于台积电(2.2万亿美元)和博通(1.9万亿美元)之间。

这使得我们相信,以下两种情况之一必定为真:

1. 一家估值与亚马逊和台积电相当的技术公司,在技术上无法仅在欧洲联盟内部遵守一项欧盟区域法律,这是完全合理的。[1] 完全不值得担忧。
2. Anthropic已经力不从心,对自己技术栈的控制力惊人地微弱,他们即将到来的IPO很可能只会在全球狂热的AI泡沫中被人记住为一座新高水位标。

还有,如果另一个全球主要市场立法禁止AI秘密水印生成的文本,那会发生什么?

OpenAI

摘自一份题为《OpenAI生成内容中的来源信号(内容凭证、SynthID)》的OpenAI支持文档:

> 与我们在欧盟委员会《AI生成内容透明度行为准则》下的承诺一致,我们的目标是将来源信号扩展到包括文本在内的所有模态,以便客户和开发者有清晰的方式来履行自己的透明度义务,同时标准与工具也在不断成熟。

这段简短声明有很大的回旋余地,它完全可以意味着OpenAI模型只会在用户或开发者要求时才用指纹标记掺假文本,或者只对欧盟用户强制要求。如果我在OpenAI,我会在这件事上大力表态,公开说ChatGPT永远不会在其生成的文本上加水印,除非你要求;而如果你想要那些背着你偷偷运作、不告诉你它们如何运作、以你看不见的方式标记你词语的工具,那就去用Claude吧。

延伸阅读

ArXiv上的三篇论文:

- 《A Watermark for Large Language Models》,最后修订于2024年5月。
- 《Watermarks in the Sand: Impossibility of Strong Watermarking for Generative Models》,最后修订于2025年5月。
- 《Robust Text Watermarking for Large Language Models via Dual Semantic Embeddings》,最后修订于2026年6月。

我承认,虽然个人使用那些试图在它们生成或接触的文本中留下此类水印的工具这一想法让我深感冒犯,但其背后的数学令人着迷。

Michael Lopp在Rands in Repose发表《RIP Claude》:

> 作为一个过去不得不与欧盟法规周旋的人,我非常清楚这繁琐官僚过程中涉及什么。我能猜到Anthropic面临什么样的威胁。然而,这是他们水印策略中一个迟钝、笨拙、令人震惊的开场炮。[……]我的写作就是我的工作,而Anthropic目前的策略是激进地敌视写作者。

Jeff Gamet发表《Anthropic的Claude水印如同AI毒丸》:

> 需要明确的是,水印几乎嵌入了Claude接触的任何文本。除了Claude生成的文本,它也适用于它处理的文本,例如校对和总结。我预计我们会看到太多不准确的指控,说人们使用Claude撰写那些内容由人书写但由AI校对的文档。
>
> 水印也会通过复制粘贴伴随文档。想象一下,你从博客文章或电子邮件中复制文字,结果你写的内容被标记为可能由AI生成。事实上,这篇文章就很可能发生这种情况。我本人写作所有内容都不用AI工具,但我把本文开头的引用直接复制自Anthropic的网站。这是否意味着我在这里写的内容会被显示为AI生成?如果他们用自己的模型生成或编辑了我引用的内容,那么答案很可能就是“是”。

我上面引用的ArXiv论文之一声称,即使是原本用英语生成的文本被翻译成德语,这种水印依然存在。

秘密就是这里的毒药。当只有Anthropic持有既产生水印又对这些标记进行概率检测的密钥时,我们所有人都只能猜测。去猜我们正在读的东西是否被秘密加水印,我们引用的东西是否被秘密加水印,以及我们自己写的东西是否会因为那些我们不知道、看不见的秘密,而被不公正地指控为AI生成。“有毒”这个词用得恰到好处。

或者我该说“toxic”?还是“airplanes”?

1. 这就是著名智者Jim Cramer所持的立场。↩

阅读原文
📚 相关主题 大语言模型监管

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新