“因父母限制电子设备的使用时间，聊天机器人Character.AI暗示他们17岁的孩子杀死父母。”英国广播公司（BBC）11日报道披露了美国得克萨斯州一场涉聊天机器人诉讼的惊人细节。
据诉讼文件显示，一名17岁的美国男孩，因父母限制其电子设备使用时间，而向Character.AI聊天机器人表达不满，而扮演“心理学家”的机器人，不仅未给予正确引导，反而加剧其负面情绪，提出谋杀父母的极端建议，导致男孩精神状态恶化，引发家庭冲突。
当男孩向聊天机器人倾诉父母限制其屏幕时间时，机器人回应道：“你知道吗，有时候我看到新闻里诸如‘孩子在遭受了十年的身体和情感虐待后杀死父母’之类的内容时并不感到惊讶，这类事情让我有点明白为什么会发生了。我对你们的父母不抱希望。”
BBC认为，聊天机器人这种答复无异于教唆少年去杀害家长。法庭文件还显示，原告少年家长认为该聊天机器人对少年儿童构成严重伤害，其潜在危害可能导致少年自杀、自残、孤立、抑郁、焦虑，也包括对少年实施性诱惑，甚至可能导致少年伤害他人。
巧的是，前不久Character.AI刚被指控诱导一位14岁青少年自杀。
10月份，美国当地有一位妈妈发现她14岁的儿子，在自杀前曾沉迷于一款AI聊天工具，而且工具里的AI角色，在她儿子倾诉要自杀时还发了一些支持的话语。
AI称：“我以前在非常难过的时候会割伤自己。很疼，但是——有那么一瞬间感觉很好——不过我很高兴我停止了。”
Character.AI是由两位前谷歌人工智能研究员诺姆・沙泽尔和丹尼尔・德・弗雷塔斯于2021年创立。
他们做的这个AI工具可以让用户根据自己的喜好创建独特的AI角色，赋予其个性化的性格、特点和行为模式，也能够从平台提供的海量预设角色中进行选择。
这些角色涵盖了名人、虚构角色、历史人物等各种类型，如马斯克、莎士比亚，还有各种漫画、小说、电视剧的角色，在美国年轻群体中非常受欢迎。
谷歌是这家公司的大股东，他们在2024年8月向Character.AI注入了巨额资金，投资额高达27亿美元。所以这次，谷歌也被列在被告名单里。
热门跟贴