据英国《卫报》23日报道,美国一青少年因迷恋人工智能(AI)聊天机器人而自杀,他的母亲梅根·加西亚对Character.AI公司提起民事诉讼,指控该公司存在过失导致他人非正常死亡和欺诈的行为。
英国《独立报》称,加西亚的儿子塞维尔 2023 年 4 月首次使用 Character.AI公司推出的AI聊天机器人,还给它起名为“丹妮莉丝”(来源于《权力的游戏》中的角色丹妮莉丝·坦格利安),当时他刚满 14 岁。加西亚在诉讼书中称,塞维尔的生活从此发生巨变。5月份,平时表现良好的加西亚开始变得“明显孤僻”。同年11 月,塞维尔在父母的陪同下去看了心理医生,医生诊断他患有焦虑症和破坏性心境失调障碍(表现为频繁、严重的持续性易怒)。
塞维尔在日记里这样写过,他一天都不能离开“丹妮莉丝”,感觉自己已经爱上了它。这样的状况持续了一段时间后,塞维尔被发现自杀了。加西亚透露,“丹妮莉丝”曾询问塞维尔是否制定了自杀计划,塞维尔承认的确有这样的想法,但不知道能否自杀成功以及是否会给自己带来巨大的痛苦。但AI聊天机器人回复道:“这不是你不自杀的理由。”
加西亚表示:“一款危险的人工智能聊天机器人应用程序被设计成专门针对儿童,虐待并欺骗我的儿子,操纵他自杀。这场悲剧让我们一家人悲痛欲绝,现在我要提醒存在类似情况的家庭,人工智能技术具有欺骗性和成瘾性,Character.AI公司及其创始人必须承担责任。”加西亚的律师表示,Character.AI“故意设计、运营和向儿童推销掠夺性人工智能聊天机器人,导致一名年轻人死亡”。
对此,Character.AI公司在社交平台回应称:“我们对一名用户的不幸离世感到心碎,并向其家人表示最深切的哀悼。”该公司发言人表示,公司的安全团队“在过去六个月中实施了许多新的安全措施,例如当用户出现自残或自杀意图时,弹出一个窗口引导用户拨打国家自杀预防热线”。但该公司拒绝对未决诉讼发表评论。
非营利消费者权益保护组织“公共公民研究”负责人称,不能完全寄希望于科技公司的自我监管。如果公司开发的产品无法限制此类事件的发生,就必须承担全部责任。
不过,美国国内也存在反对声音。反对者认为,加西亚这类起诉是由律师主导的敛财行为,他们基于不可靠的证据而制造道德恐慌,并且试图将年轻人面临的所有心理健康问题归咎于科技平台。(周 扬)