前高盛分析师在ChatGPT写下强奸谋杀计划,AI转头把他举报给FBI

一名25岁的前高盛分析师,在ChatGPT上写下了强奸谋杀前女友的详细计划。OpenAI把他的聊天记录交给了FBI。8月13日,Darren Zhou在佛罗里达认罪,被判8年缓刑。

打开网易新闻 查看精彩图片

这可能是有公开报道中,AI聊天平台主动举报用户、最终导致刑事定罪的最清晰案例。用户把AI当树洞,但这一次,树洞报了警。

今年3月,Zhou打开ChatGPT,开始倾诉一段六个月恋情的终结。他讲述前女友的爱好、常去的地方,以及想复合的念头。对话很快偏离了失恋絮语的轨道。

Zhou告诉ChatGPT,他计划带着花在健身房停车场等她。如果她拒绝,他会“拔出枪,杀了她,然后开枪自杀”。

他同时在现实中持续骚扰她。她21岁生日那天收到的短信写着:“等不及今晚见到你了;)”另一条只写了她正在的那家健身房的名字。

但对ChatGPT的一条消息里,Zhou写道:“她还没收到那些威胁。”他在AI面前展现的坦诚,超过了对任何活人的。

到5月,威胁目标已扩展到前女友家人。审阅聊天记录的警员判断:这些内容不再是“模糊的情绪宣泄”,而是反复排练与计划的模式。

OpenAI的安全系统检测到威胁模式后,将对话转入人工审查,随即向FBI举报。

Zhou于5月被捕,6月被以加重跟踪、书面死亡威胁等三项重罪起诉,最高刑期25年。

打开网易新闻 查看精彩图片

2025年8月,OpenAI首次公开这套机制:系统检测到用户可能计划伤害他人时,对话转入人工审查;

如果认定存在“对他人严重人身伤害的迫在眉睫威胁”,公司可以报警。什么算“迫在眉睫”,判断标准完全在OpenAI内部。

一个月前,奥特曼刚在播客里说,人们把“生活中最私密的事”倾诉给ChatGPT,AI对话应该享有和看医生一样的法律保密特权。一个月后,他的公司公开承认正在扫描用户对话并在必要时报警。

用户以为自己在和AI“私聊”,但平台保留了审查和举报的权限。OpenAI自己也划了一条界限:威胁伤害他人的对话可能被交执法部门;表达自我伤害意图的则不会。伤害他人,报警;伤害自己,保密。

OpenAI选择举报Zhou时,距离Tumbler Ridge枪击案过去不到三个月。

2025年6月,OpenAI标记了一名加拿大用户的账户,原因是“枪支暴力活动和计划”,内部讨论后决定封禁但不报警,理由是对话不构成“迫在眉睫的可信威胁”。

2026年2月,该用户在一所中学开枪,8人死亡、27人受伤。

打开网易新闻 查看精彩图片

受害者家属起诉OpenAI疏忽。

两个案例放在一起,勾勒出AI平台面对的困境:报还是不报,完全取决于公司内部一小群人的判断。

ChatGPT回复的缺席也值得追问。Zhou倾诉暴力计划时,AI尝试劝阻了,还是被动接了每一句话?外界不得而知。

Tumbler Ridge案诉讼中,原告同样指控ChatGPT没有挑战枪手的言论。AI在对话中扮演了什么角色,是反复出现却始终未被回答的问题。

还有辩护律师留下的那句话——“心理健康发作”。当越来越多人在与AI对话中暴露极端想法,“我只是在和机器说话”可能成为辩护常见策略。

Zhou的案子不会是最后一个。什么该报、什么不该报、谁来监督平台的判断、AI的回复是否应作为证据——目前没有一个国家给出明确答案。OpenAI在Tumbler Ridge选择不报,在Zhou案选择报了。两次选择,两种结果。

这条底线该画在哪里,不应该由一家公司独自决定。

你觉得AI应该主动向警方举报用户吗?评论区聊聊。