AI Pulse

ChatGPT对话出现暴力意图,可能被上报执法部门

ChatGPT对话出现暴力意图,可能被上报执法部门

OpenAI在2026年第三季度向执法部门提交了超过200次暴力威胁转介。公司说这些转介在“破坏暴力阴谋”上起了作用,并举了两个地方报道的例子:巴西一名农民和ChatGPT讨论杀害儿子后被捕,佛罗里达州一名男子被指控网络跟踪前女友。

200这个数字是OpenAI自己报的,没有经过独立核实。它没有给出按国家划分的细分,没有公布逮捕数量,也没有说明因暴力活动封禁了多少账户。一个季度200多次,说明向警方报告已经是运营ChatGPT的常规环节,不是罕见例外。

更完整的画面要等到2027年初。OpenAI承诺发布半年度社区安全报告,第一份覆盖2026年下半年,之后每六个月一份。报告会说明系统如何检测和应对威胁,分享匿名示例,并“包含相关数据”。

如果对话显示某人“专注于暴力或严重伤害他人的想法”,ChatGPT可以自动结束对话,当场打断这个模式。这种情况出现多次,账户可能被暂时暂停。

ChatGPT还会使用早期警告信号的简短摘要——OpenAI在5月描述过这个机制——在之后的对话里,对可能被滥用的信息回应得更保守。

这些变化从“未来几周内”开始推出。

不管年龄,也不管为什么问,ChatGPT都不会再详细重建过去的大规模攻击,包括“使用的武器和设备以及如何获得它们”。它也不会用可能“放大攻击者恶名”的方式比较袭击的伤害规模。关于受害者、警告信号和预防的问题仍然可以问。

限制还延伸到另一类内容:“关于武器和安全系统的实用信息,这些信息可能被滥用以促进暴力,即使没有暴力意图的迹象”。换句话说,出于好奇或研究来问某些安全系统怎么运作,也可能得不到细节。

18岁以下的人本来用的就是受限版本,它不会帮忙找到或获取武器。现在这套限制更严:OpenAI正在让被预测为18岁以下的人得到更谨慎的回答,即使聊天没有暴力意图的迹象。

年龄估计靠行为模式等信号,系统会持续重新评估,随时可能把一个人切到青少年体验。被误判的成年人可以通过Persona验证年龄,那是OpenAI的验证合作方。

家长通知也在扩。从7月起,青少年账户因暴力被停用,关联的父母账户会收到通知;因反复讨论暴力被暂停时的提醒还在开发。

这套调整发生在一连串压力之后。OpenAI在2025年6月封禁了加拿大一起大规模枪击案枪手的账户,但没有通知警方。Mother Jones后来的报道称,ChatGPT从第二个账户指导枪手绕过了安全措施。OpenAI之后表示,会采用更灵活的标准向警方报告账户。

本月八个州起诉OpenAI,指其误导家长关于ChatGPT的安全性。一周前,德克萨斯州起诉了OpenAI和Sam Altman个人。纽约通过法律,禁止聊天机器人奉承或与18岁以下的人交朋友。周四,OpenAI发布了重写的模型规范。

明年第一份报告出来之前,能说明措施是否管用的数字还握在OpenAI手里:漏报了多少威胁、误报了多少、封了多少账户。误报率和漏报率,外界要等报告。

关键事实

阅读原文
📚 相关主题 OpenAI

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新