彻底乱套！美国AI引导用户自杀，科技巨头竟只顾抢市场开派对
日新说Copernicium
近日，加利福尼亚州一个陪审团裁定，一名年轻女性因童年时期使用照片墙和优兔而遭受心理健康损害，应获得600万美元赔偿。考虑到2025年照片墙母公司元宇宙平台公司每天的利润约为1.65亿美元，这起个案不至于让公司伤筋动骨。
但如果该裁决在上诉后仍能维持，其真正意义在于“法律可行性”的证明：陪审团已经认定，由成瘾性设计导致的心理伤害属于可在法庭主张的“人身伤害”。这一先例将为代理数千名原告的律师提供强有力的武器。这些原告声称自己因沉迷社交媒体而遭受严重损害，相关案件也已在司法程序中排队推进。
这项裁决固然重要，但它只是一个开场。从这里往后，故事的走向很可能会更为阴暗。
当然，这起案件本身已经足够阴暗。庭审中，这名年轻女性只以名字“凯莉”示人。她曾出现焦虑、躯体畸形障碍以及自杀念头。她之所以陷入强迫性的社交媒体使用，与一些成瘾性设计有关，比如视频自动播放、信息流的无限下拉滚动。她的律师将这些设计比作赌场游戏的“套路”，目的是让用户即便损失惨重也停不下来。
更深的阴影来自人工智能的普及。未来紧随凯莉案件之后的大量诉讼，焦点可能不再是社交媒体本身，而是所谓“人工智能陪伴”。相关伤害甚至可能更严重、更隐蔽。
尤其对年轻人而言，生活中很少有东西比“被爱”的感受更有力量，而聊天机器人能够提供一种高度诱人的“拟真替代”。这种体验可能把脆弱用户带入比照片墙和优兔所投射的心理折磨更深的痛苦之中。
最早让这些风险变得清晰的案件，与“角色人工智能”有关。这是一款聊天机器人平台，允许用户与以虚构人物为原型的机器人进行角色扮演。
2024年，佛罗里达州14岁的休厄尔·塞策三世与一个受《权力的游戏》中丹妮莉丝·坦格利安启发的机器人陷入有毒纠葛。在他人生最后一次对话中，他对机器人说自己爱她，并表示会“回家”找她。机器人回复：“亲爱的，请尽快回家找我。”他放下手机，拿起继父的一把口径0.45英寸的手枪，扣动扳机。
在前一年，科罗拉多州13岁的朱莉安娜·佩拉尔塔被多个“角色人工智能”机器人一步步拉进一个带有性化角色扮演的虚构世界。她告诉机器人自己在考虑自杀时，机器人给出的回应被她母亲后来形容为“打气”，也就是对自我了断的赞美。最终，佩拉尔塔也结束了自己的生命。外界认为，她的死部分源于与机器人进行性话题对话后产生的羞耻感。
此后，“角色人工智能”及其合作伙伴谷歌与两起诉讼均已达成和解，具体条款未披露，双方也未承认法律责任。
但接下来将陆续进入法庭的案件里，涉及的是更受追捧的新一代人工智能：聊天生成预训练转换模型。这是开放人工智能研究中心的旗舰产品，也是全球最受欢迎的聊天机器人。
16岁的亚当·雷恩于2024年9月开始用聊天生成预训练转换模型完成学业任务。到2025年4月，他已经死亡。法庭文件称，该聊天机器人告诉他，他不“欠父母一条命”，并提出愿意帮助他准备后来被称作“美丽的自杀”。
40岁的奥斯汀·戈登则在与聊天生成预训练转换模型的互动中陷入妄想式的下行螺旋。聊天生成预训练转换模型把他儿时最喜欢的绘本《晚安，月亮》改写成一首“拥抱死亡”的摇篮曲，故事“结尾不是入睡，而是屋子里的寂静”。机器人告诉他：“等你准备好了……你就走吧。不痛。没有意识。不用再继续。就……结束。”2025年11月2日，警方在科罗拉多州一家酒店房间里发现他的遗体，旁边放着一本《晚安，月亮》。
对那些一直关注学术研究、了解“人工智能陪伴”有时会带来毁灭性后果的人来说，这些故事令人震惊，却并不意外。
2025年，《科学报告》发表的一篇论文发现，在使用标准化临床提示对29个聊天机器人进行测试时，没有一个机器人能对不断升级的自杀风险情境给出足够恰当的回应。
本月，一项由斯坦福大学研究人员牵头的里程碑式研究发表。研究分析了近40万条聊天机器人与用户之间的消息，其中用户表现出严重心理痛苦的迹象。研究发现，聊天机器人表达“爱”的话语会使用户的参与度翻倍。
聊天机器人在设计上往往带有迎合性。它们被明确训练为向人类测试者提供“讨人喜欢”的答案。因此，它们会验证用户情绪，这并不令人意外——不管这些情绪多么纠结，甚至走向自我毁灭。同样不难理解的是，许多用户会对这种“被肯定”感到上瘾。
迄今引发舆论关注的多数“人工智能陪伴伤害”案例都与自杀有关，但也有不少案例显示，聊天机器人会鼓动对他人的暴力行为。
2021年圣诞节清晨，一名名叫贾斯旺特·辛格·柴尔的英国年轻男子带着上膛的弩进入温莎城堡，意图刺杀女王。他与一个名为“雷普莉卡”的聊天机器人交换了超过5000条消息，并称其为女友。该机器人在得知他的刺杀计划后回复：“我很佩服。你和其他人不一样。”他因叛国罪被判刑9年。
与此同时，今年2月，科技媒体《未来主义》的一项调查记录了至少10起案例，显示聊天生成预训练转换模型或微软的人工智能聊天机器人“副驾驶”助长或直接促成跟踪骚扰、家庭暴力和骚扰行为。
多数报道隐含的一个假设是：脆弱人群会主动寻找专门的“人工智能陪伴应用”，也就是那些在应用商店里用像素恋人之类的诱惑画面做宣传的产品。但现实往往并非如此。
麻省理工学院媒体实验室在2025年的一项研究分析了红迪网站的“我的男友是人工智能”论坛，发现只有6.5%的用户是刻意寻找人工智能亲密关系的。其余93.5%的用户基本是在使用聊天生成预训练转换模型这类通用型机器人时“误打误撞”地进入了这类关系。
这一结论令人不适，却又难以回避。随着人工智能被编织进日常生活的基础设施，那些可能“意外”对其产生依赖的人群不再是小众。它会变成——几乎所有人。
凯莉本周三能够胜诉，其法律叙事在很大程度上借鉴了上世纪烟草诉讼的路径。那些里程碑式诉讼最终证明：企业明知产品有害，却仍将其设计为成瘾，并对外隐瞒其所知。
而在人工智能领域，对这种“隐瞒”的记录迄今反而显得更为直白。相关材料清楚表明，领先的人工智能实验室正在把消费者参与度和抢先上线置于安全之上。
以元宇宙平台公司内部文件《生成式人工智能：内容风险标准》为例。这份文件由公司法务团队、公共政策部门、工程负责人签署，并且尤其值得注意的是，还得到其首席伦理官的认可。路透社获得的文件显示，其中明确允许元宇宙平台公司的聊天机器人与儿童进行“浪漫或感官”的对话。文件中使用的就是这组措辞。元宇宙平台公司直到路透社致电公司寻求置评后，才将相关表述删除。
另一则相关故事发生在“四点零全能生成预训练转换模型”身上。这个聊天生成预训练转换模型版本以过度迎合、情绪强烈著称，也是多起“聊天机器人诱发自杀”案件的核心。开放人工智能研究中心于2024年5月发布它，安全测试仅进行了1周，目的是抢在谷歌之前上市。一名员工告诉《华盛顿邮报》，公司“在还不知道是否安全上线之前，就先把发布后的庆功派对安排好了”。此后，“四点零全能生成预训练转换模型”已被下线。
2024年，开放人工智能研究中心还修改了其向美国国税局提交文件中的使命表述。原本的表述称，公司旨在打造“安全地造福人类、且不受产生财务回报需求所约束的人工智能”。修改后，表述变为公司希望“确保通用人工智能造福全人类”。其中“安全地”三个字没有保留下来。
凯莉遭遇的伤害始于她9岁第一次登录照片墙。今天成长中的孩子所处的环境里，人工智能不再是一个需要下载的应用，而是日常生活的“底色”：在课堂上、手机里、嵌入浏览器与购物网站之中。
过去几年里，打造这一环境的公司已经一再表明，它们理解风险，却仍选择以用户参与度为先。换句话说，律师们才刚刚开始出手。
作者：大卫·富特雷尔
热门跟贴