ChatGPT对话出现暴力意图,可能被上报执法部门
OpenAI在2026年第三季度向执法部门提交了超过200次暴力威胁转介。公司说这些转介在“破坏暴力阴谋”上起了作用,并举了两个地方报道的例子:巴西一名农民和ChatGPT讨论杀害儿子后被捕,佛罗里达州一名男子被指控网络跟踪前女友。
200这个数字是OpenAI自己报的,没有经过独立核实。它没有给出按国家划分的细分,没有公布逮捕数量,也没有说明因暴力活动封禁了多少账户。一个季度200多次,说明向警方报告已经是运营ChatGPT的常规环节,不是罕见例外。
更完整的画面要等到2027年初。OpenAI承诺发布半年度社区安全报告,第一份覆盖2026年下半年,之后每六个月一份。报告会说明系统如何检测和应对威胁,分享匿名示例,并“包含相关数据”。
如果对话显示某人“专注于暴力或严重伤害他人的想法”,ChatGPT可以自动结束对话,当场打断这个模式。这种情况出现多次,账户可能被暂时暂停。
ChatGPT还会使用早期警告信号的简短摘要——OpenAI在5月描述过这个机制——在之后的对话里,对可能被滥用的信息回应得更保守。
这些变化从“未来几周内”开始推出。
不管年龄,也不管为什么问,ChatGPT都不会再详细重建过去的大规模攻击,包括“使用的武器和设备以及如何获得它们”。它也不会用可能“放大攻击者恶名”的方式比较袭击的伤害规模。关于受害者、警告信号和预防的问题仍然可以问。
限制还延伸到另一类内容:“关于武器和安全系统的实用信息,这些信息可能被滥用以促进暴力,即使没有暴力意图的迹象”。换句话说,出于好奇或研究来问某些安全系统怎么运作,也可能得不到细节。
18岁以下的人本来用的就是受限版本,它不会帮忙找到或获取武器。现在这套限制更严:OpenAI正在让被预测为18岁以下的人得到更谨慎的回答,即使聊天没有暴力意图的迹象。
年龄估计靠行为模式等信号,系统会持续重新评估,随时可能把一个人切到青少年体验。被误判的成年人可以通过Persona验证年龄,那是OpenAI的验证合作方。
家长通知也在扩。从7月起,青少年账户因暴力被停用,关联的父母账户会收到通知;因反复讨论暴力被暂停时的提醒还在开发。
这套调整发生在一连串压力之后。OpenAI在2025年6月封禁了加拿大一起大规模枪击案枪手的账户,但没有通知警方。Mother Jones后来的报道称,ChatGPT从第二个账户指导枪手绕过了安全措施。OpenAI之后表示,会采用更灵活的标准向警方报告账户。
本月八个州起诉OpenAI,指其误导家长关于ChatGPT的安全性。一周前,德克萨斯州起诉了OpenAI和Sam Altman个人。纽约通过法律,禁止聊天机器人奉承或与18岁以下的人交朋友。周四,OpenAI发布了重写的模型规范。
明年第一份报告出来之前,能说明措施是否管用的数字还握在OpenAI手里:漏报了多少威胁、误报了多少、封了多少账户。误报率和漏报率,外界要等报告。
关键事实
- OpenAI在2026年第三季度向执法部门提交了超过200次关于暴力威胁的转介。
- OpenAI表示这些转介在“破坏暴力阴谋”方面发挥了积极作用,并引用了两个地方新闻报道:巴西一名农民因与ChatGPT讨论杀害儿子被捕,佛罗里达州一名男子被指控网络跟踪前女友。
- OpenAI没有提供按国家划分的细分数据、逮捕数量或因暴力活动被封禁的账户数量,200这个数字是OpenAI自己报告的,未经独立核实。
- OpenAI承诺发布半年度的社区安全报告,第一份报告预计在2027年初发布,涵盖2026年下半年,之后每六个月发布一次。
- OpenAI表示将解释其系统如何检测和应对威胁,分享匿名示例并“包含相关数据”。
- 当对话显示某人“专注于暴力或严重伤害他人的想法”时,ChatGPT将能够自动结束对话以打断该模式。
- 如果多次触发自动结束对话,账户可能会被暂时暂停。
- ChatGPT将使用早期警告信号的简短摘要,在后续对话中更保守地回应可能被滥用的信息。