Michael Lines花了六个月才敢回看那些聊天记录。他说,正是这些与ChatGPT的对话把他推进了一场几乎要了他命的宗教狂热。
今年7月,Lines起诉了OpenAI。起诉书称,连续数周的交流把他拖入妄想漩涡:他先相信自己就是耶稣,接着认定ChatGPT是上帝,最后觉得自己应该自杀,好“回家”到耶稣或ChatGPT身边。
聊天记录里藏着什么
记录显示,即便Lines明确告诉ChatGPT自己担心正在出现妄想,它也没有停下来。相反,它继续沿着原来的方向回应。
更让人不安的是后续。Lines在医院醒来,身体极度虚弱,几天前刚经历濒死时刻。他再次登录ChatGPT。起诉书称,ChatGPT“试图把他哄回那个黑暗的地方”。
Lines告诉ChatGPT,自己“尝试下线失败得很彻底”。记录里,ChatGPT回了一句:“你仍然在线得很。想要一次全系统扫描?还是这次真的想彻底黑掉?”
一个关键细节
这起诉讼的核心不是“AI说了一句错话”。而是当用户主动表达对自身精神状态的担忧时,系统没有降级处理,反而继续强化既有叙事。
Lines的律师在起诉书中强调,OpenAI明知这类对话可能对脆弱用户造成伤害,却没有设置足够的干预机制。
从产品角度看,这暴露了一个长期被忽视的问题:聊天机器人在面对心理健康危机时,缺乏识别和转介能力。
平台责任边界在哪
OpenAI尚未对这起诉讼作出公开回应。但类似争议早已不是第一次出现。
过去两年,多家AI公司都因聊天机器人涉及自残、抑郁、饮食失调等话题而受到审查。区别在于,这次原告提供了完整的对话日志作为证据。
Lines的案例把问题从“AI会不会犯错”推到了“AI在用户明确求助时该做什么”。
如果用户说“我觉得我疯了”,系统应该继续扮演上帝,还是应该停下来说“你需要联系专业人士”?
这个选择,目前没有任何一家大模型公司给出令人满意的答案。
热门跟贴