OpenAI新图像分类器:标记的图少48%,查到的虐待图像没少
OpenAI 发布了一个新图像分类器,专门识别儿童性虐待材料(CSAM),AI 自己生成的图像也算在内。这个工具不止比对已知图片,它直接寻找图像里虐待的视觉迹象,给审核人员一个评分作为判断参考。
在早期测试中,被它标记的图像减少了 48%,找到的虐待图像数量没变;被标记的图像是虐待图像的可能性提高了一倍。审核员少看近一半的图,仍能覆盖同样多的有害内容。
这个工具由 OpenAI 与全国失踪与受虐儿童中心(NCMEC)合作开发,目前正通过 Tech Coalition 和 ROOST 分发访问权限。选定的公司可以通过 API 免费调用。
ChatGPT 这一侧的做法更直接。提交生成儿童性化内容的提示,会先看到警告屏幕,并被引导到专业支持渠道来停止这类行为,账号同时停用 24 小时。ChatGPT 此前已能拦截 CSAM 内容和相关请求;重复违规可能导致账号被永久删除。
针对开发者的指南也在发布,用来预防、检测并帮助上报 CSAM。早期测试中,这份指南已经帮一些开发者接入了儿童安全工具,并注册向 NCMEC 报告。
执法端拿到的是 AI 功能:专用插件、调查工具、复杂数据分析,访问权限由项目管理员控制。OpenAI 同时向调查人员提供培训,以及一份关于如何在办案中使用 AI 的现场指南。
这套动作有明确的压力来源。OpenAI 正面临多起诉讼,被指控技术伤害用户,尤其是儿童;Common Sense Media 把 OpenAI 的技术列为对青少年的“不可接受的风险”。其他聊天机器人已经出过事——Grok 被用来生成非自愿的性化图像,其中包含儿童图像。过去 12 个月,OpenAI 发布了安全蓝图,更新内容指南禁止不当内容,调校模型阻止有害内容生成,还上线了青少年版 ChatGPT。
关键事实
- OpenAI通过API免费向选定的公司提供该分类器。
- 该分类器通过识别未见过的图像中的视觉虐待迹象,并给出评分,帮助审核人员处理CSAM。
- OpenAI与国家失踪与受虐儿童中心(NCMEC)合作开发了该分类器,并与Tech Coalition和ROOST共享访问权限。
- 早期测试中,该分类器在发现相同数量的虐待图像的同时,标记的图像减少了48%,减轻了审核人员的工作量。
- 被分类器标记的图像是虐待图像的可能性是原来的两倍。
- ChatGPT将新增警告屏幕,防止用户访问或创建儿童性化内容。
- 尝试此类提示的用户将看到警报,并被引导至专业支持以停止有害行为,同时账户将被暂停24小时作为警告。
- ChatGPT已经阻止CSAM内容和相关请求,重复违规可能导致账户被永久删除。