AI Pulse

OpenAI新图像分类器:标记的图少48%,查到的虐待图像没少

OpenAI新图像分类器:标记的图少48%,查到的虐待图像没少

OpenAI 发布了一个新图像分类器,专门识别儿童性虐待材料(CSAM),AI 自己生成的图像也算在内。这个工具不止比对已知图片,它直接寻找图像里虐待的视觉迹象,给审核人员一个评分作为判断参考。

在早期测试中,被它标记的图像减少了 48%,找到的虐待图像数量没变;被标记的图像是虐待图像的可能性提高了一倍。审核员少看近一半的图,仍能覆盖同样多的有害内容。

这个工具由 OpenAI 与全国失踪与受虐儿童中心(NCMEC)合作开发,目前正通过 Tech Coalition 和 ROOST 分发访问权限。选定的公司可以通过 API 免费调用。

ChatGPT 这一侧的做法更直接。提交生成儿童性化内容的提示,会先看到警告屏幕,并被引导到专业支持渠道来停止这类行为,账号同时停用 24 小时。ChatGPT 此前已能拦截 CSAM 内容和相关请求;重复违规可能导致账号被永久删除。

针对开发者的指南也在发布,用来预防、检测并帮助上报 CSAM。早期测试中,这份指南已经帮一些开发者接入了儿童安全工具,并注册向 NCMEC 报告。

执法端拿到的是 AI 功能:专用插件、调查工具、复杂数据分析,访问权限由项目管理员控制。OpenAI 同时向调查人员提供培训,以及一份关于如何在办案中使用 AI 的现场指南。

这套动作有明确的压力来源。OpenAI 正面临多起诉讼,被指控技术伤害用户,尤其是儿童;Common Sense Media 把 OpenAI 的技术列为对青少年的“不可接受的风险”。其他聊天机器人已经出过事——Grok 被用来生成非自愿的性化图像,其中包含儿童图像。过去 12 个月,OpenAI 发布了安全蓝图,更新内容指南禁止不当内容,调校模型阻止有害内容生成,还上线了青少年版 ChatGPT。

关键事实

阅读原文
📚 相关主题 OpenAI

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新