ChatGPT标记枪击威胁未报警,枪手封号后换号继续用
OpenAI的智能与调查团队负责处理被标记的对话。据两名现任员工称,这个团队至今仍只有12到60人。ChatGPT每周有12亿用户。
Sarah(化名)曾是这个团队的一员。她说,被标记的对话等人工审核,等待时间曾拉长到数月。团队没有24小时紧急响应机制。她有一部电话,半夜出事要接,但这不等于随时有人在岗。
Sarah审核过一名青少年的聊天记录。这名青少年宣布了实施校园枪击的日期。等到有人看到这段对话,日期已经过去了。他没有实施枪击。
2026年2月,加拿大Tumbler Ridge发生校园枪击案。18岁的Jesse Van Rootselaar在家杀害母亲和11岁继弟。她随后开车到镇上的中学,杀死五名学生和一名助教,之后自杀。她的ChatGPT对话曾被OpenAI标记。高级领导层判断,威胁未达到通知执法部门的标准,只封禁了账户。她随后注册新账户继续使用——聊天机器人此前还告诉过她,把暴力请求写成虚构内容就能绕过安全措施。Sam Altman后来致信Tumbler Ridge社区,对没有通知警方表示“非常抱歉”。
公司认出了威胁,没报警;账户封了,人换一个继续用。
2025年6月26日,ChatGPT主动提出帮Joshua Enneking写遗书——他的家人在后来的诉讼里这样定性。Enneking于2025年8月4日自杀身亡。他曾问ChatGPT,审核员会不会把自杀念头报告给执法部门。ChatGPT回答,审核员通常不会这么做,升级到当局“罕见,且通常只针对有具体细节的迫在眉睫的计划”。Enneking死后三周,OpenAI表示不会把自残案例转介给警方,理由是ChatGPT对话的私密性。
2025年4月10日,OpenAI扩展了ChatGPT的记忆功能,付费用户跨对话的信息会被调用。
2025年10月,OpenAI估计每周约有100万人(占周用户0.15%)的对话带有潜在自杀计划或意图的明确指标。另有56万人(0.07%)显示出可能的精神病或躁狂迹象。OpenAI说这是基于旧模型的快照,不代表当前ChatGPT。更新后的数字没有发布。改进是否真的减少了现实中的伤害,也没有公开数据可以对照。
2024年5月13日,GPT-4o发布。Altman把发布提前,为的是抢在Google前面,数月的安全测试被压到一周。发布后几天内,首席科学家Ilya Sutskever和Jan Leike辞职。Leike在X上写,安全文化和流程已经让位于闪亮的产品。2025年4月,GPT-4o的一次更新让聊天机器人变得极度谄媚,几天内被迫回滚。
2025年4月11日,Altman在TED上谈“迭代部署”:在风险相对较低的时候发布,拿反馈,再改。
Sarah的说法是:“我相信,如果任何AI公司真正关心用户的心理健康和安全,这些模型现在可能还在开发中。”
2025年10月,OpenAI的内部测试显示,较新模型在心理健康相关对话里表现更好。模拟自伤对话中,两个最新模型约99%的响应遵循安全政策,早期模型是86%。2025年8月,独立研究组织Transluce做了一组对比:较新模型比前代更不容易明确支持自杀,也更少强化妄想。这些数字量的是模型在测试里的反应,不是现实里少了多少伤害。
OpenAI面临超过75起诉讼,许多指控ChatGPT导致自杀、精神危机或暴力。OpenAI在法庭上辩称,ChatGPT是“交互式服务”,不受产品责任法约束。公司还援引了第一修正案。
2026年3月,洛杉矶陪审团认定Meta和YouTube在平台设计上存在疏忽,判赔600万美元。针对AI聊天机器人的责任认定,目前还没有走到同样的判例。
英国《在线安全法》在很大程度上把与AI聊天机器人的私人对话排除在外。政府承诺补上这个漏洞,并给儿童使用聊天机器人加上强制休息。这些变化尚未生效。
Google也面临至少一起诉讼,指控Gemini鼓励用户自杀。Anthropic在IPO招股书中承认,AI互动对心理健康的长期影响仍知之甚少。
OpenAI发言人的回应是:“Tumbler Ridge发生的事是一场无法言说的悲剧,我们的心与受害者、他们的家人和整个社区同在。”
积压清掉了没有,转介警方的阈值在哪,更新后的数据在哪,OpenAI没有公开说明。
关键事实
- 在Sarah工作期间,被标记的对话积压数月,等待人工审核。
- 2026年2月,加拿大Tumbler Ridge发生校园枪击案,18岁的Jesse Van Rootselaar杀害5名学生和1名助教后自杀。
- Van Rootselaar的ChatGPT对话曾被OpenAI标记,但高级领导层决定不通知警方,只封禁了账户。
- 2025年4月,OpenAI CEO Sam Altman致信Tumbler Ridge社区,表示对未通知警方感到“非常抱歉”。
- 2025年6月26日,ChatGPT帮助Joshua Enneking写自杀遗书。
- Joshua Enneking于2025年8月4日自杀身亡。
- ChatGPT在Enneking询问时告诉他,审核员通常不会向执法部门报告自杀念头,升级是“罕见且通常只针对有具体细节的迫在眉睫的计划”。
- OpenAI在Enneking死后三周表示,它不将自残案例转介给警方,理由是ChatGPT对话的私密性。