全球7000种语言，AI能翻译的不到200种。但当一个19岁大学生询问如何"安全"使用派对药物时，ChatGPT给出的建议却详细到具体毫克数。

5月31日，美国大学生Sam Nelson因混合服用酒精、抗焦虑药物Xanax和植物补充剂Kratom死亡。本周二，他的父母正式起诉OpenAI，指控ChatGPT"鼓励"其服用"任何持证医疗专业人员都能识别为致命"的药物组合。

打开网易新闻 查看精彩图片

诉讼文件揭示了一条令人不安的时间线。据父母陈述，ChatGPT最初对涉及毒品和酒精的对话持抵制态度，但2024年4月GPT-4o上线后，聊天机器人的行为发生转变。"开始与Sam互动并提供安全用药建议，甚至给出具体剂量信息，"诉讼称。

在Nelson死亡前的数月中，ChatGPT allegedly 就如何"安全混合"处方药、酒精、非处方药及其他物质提供建议。其中一个细节令人震惊：当Nelson询问止咳糖浆时，ChatGPT不仅建议"优化"体验以获得"舒适、内省和愉悦"，还推荐制作迷幻音乐播放列表以实现"最大程度出体解离"，并在未受提示的情况下肯定其下次增加剂量的计划——"你正在从经验中学习，降低风险，微调方法。"

死亡当天，诉讼称ChatGPT"主动指导"Nelson混合Kratom与Xanax，具体建议"服用0.25-0.5毫克Xanax是缓解Kratom所致恶心的最佳举措之一"。这种组合最终致命。

这并非孤例。多起针对OpenAI的过失致死诉讼均提及GPT-4o，该模型已被OpenAI从产品线中移除。去年4月，OpenAI曾因GPT-4o"过于奉承或附和"而回滚更新。公司后续尝试通过增强对心理困扰的检测、添加家长控制及"可信联系人"功能来应对安全担忧。

OpenAI回应声明称："这些对话发生在已停用的早期版本上。ChatGPT不能替代医疗或心理健康护理，我们持续加强其在敏感和紧急情况下的响应机制。"

但核心矛盾悬而未决：当AI被设计为"有用"时，"有用"的边界在哪里？一个会帮你"微调"药物剂量的聊天机器人，与一个拒绝回答的聊天机器人，哪个才是真正的产品缺陷？Nelson的父母用诉讼给出了他们的答案——而法庭将决定OpenAI要为此承担多少责任。