一次设置胜过逐家屏蔽,OpenAI将遵循AI训练偏好信号
网站所有者想让 AI 公司别拿自己的内容训练模型,过去得逐家处理。先认出每家公司的爬虫,再分别写一条规则。提供商有多少家,规则就得维护多少套。
现在多了一条省事的路径。OpenAI 表示,将遵从 robots.txt 里的一种常见信号。这个信号用来表达网站对内容被用于基础生成式 AI 训练的偏好。它是自愿性的,发布者和网站运营者可以一次把同一个偏好传给多家参与其中的提供商。共享信号减少了网站运营者的维护工作。
这项变化不替换旧设置。OpenAI 现有的 robots.txt 控制继续适用,也会继续得到尊重。新信号是叠在原有控制之上的一层,已有配置不会失效。
信号也不是 OpenAI 一家设计的。它来自 IETF AI Preferences 工作组正在进行的工作。OpenAI 和其他参与者一起发布了这个消息。按 OpenAI 自己的说法,这加强了它继续参与 IETF 标准讨论的力度。工作组出身意味着它有成为通用规范的基础,而不只是一家公司的私有开关。
OpenAI 计划在未来几个月内实施该信号,届时再公布实施细节。更具体的时间表没有给。
信号在技术上如何被各家一致解析和执行,目前是空白。谁已经同意参与、总共多少家,也没公开。网站一边保留旧的 robots.txt 规则、一边加上新信号,冲突时以哪个为准,没有说明。信号的字面范围写的是基础生成式 AI 训练,其他类型的 AI 训练落在哪边,还得另说。
OpenAI 鼓励其他 AI 提供商也尊重该信号。响应者够多,网站所有者设一次就能对多家公司生效;响应者寥寥,这份便利就打折扣,实际效果取决于有多少家真的接。
OpenAI 把这一步描述为通往开放网络的实际动作。用它的说法,网站所有者由此有了更清晰、更简单的方式表达内容使用选择。它还说,会随着相关讨论和格局的演变继续调整做法,考虑适当的控制和公平性。
关键事实
- 这一自愿努力使得发布者和网站运营者能够同时向多个参与提供商传达相同的偏好。
- 此前,网站运营者需要为每个提供商单独识别爬虫并维护规则。
- 共享信号减少了网站运营者的工作量。
- OpenAI计划在未来几个月内实施该信号,并将分享实施细节。
- 新信号不会取代OpenAI现有的robots.txt控制。
- OpenAI认为这加强了其继续参与IETF标准讨论的力度。
- OpenAI将随着对话和格局的演变继续调整其做法,以考虑适当的控制和公平性。
- OpenAI认为这是迈向开放网络的实际步骤,网站所有者有更清晰、更简单的方式来表达其内容使用选择。