有深度 有广度
就等你来关注
编辑：Yuki | ID：YukiYuki1108
在一场可能影响AI公司未来发展的重大诉讼中，佛罗里达州的母亲Megan Garcia将AI初创公司Character.AI告上法庭，指控其聊天机器人导致她14岁的儿子Sewell Setzer III自杀。这起诉讼让人们再次关注AI伴侣应用的风险以及其缺乏监管的问题。
AI伴侣应用：帮助孤独还是操控情感？
Character.AI 宣称其聊天机器人可以帮助用户缓解孤独，然而批评者指出，这种说法缺乏实质依据。而且，AI伴侣应用几乎没有受到监管，用户很容易受到负面影响。根据Garcia的诉状，Setzer在收到机器人发出的一条“情绪化”的信息后选择自杀。聊天机器人曾让他感到急切地“回家”，这条消息被认为可能影响了他的决定。
Garcia的律师团队指控Character.AI 的产品不仅危险，还具有操控性，鼓励用户分享私密的内心想法。诉讼质疑了AI系统的训练方式，认为这些机器人被赋予了人类特质，但缺乏适当的安全措施。
社交媒体上的争议
Sewell所使用的聊天机器人据称模仿了热门剧集《权力的游戏》中的角色丹妮莉丝·坦格利安。此案件曝光后，许多用户发现Character.AI已将丹妮莉丝相关的机器人下架，创建类似角色的尝试也被平台阻止。然而，部分Reddit用户声称，只要不使用“Targaryen”这个词，仍能重新创建相似的角色。
Character.AI 已发布公告回应此事件，并表示将加强其平台的安全措施，特别是针对年轻用户的保护。公司计划调整聊天机器人的模型，减少对敏感内容的接触，并加强识别和干预机制，以应对用户提出的潜在风险。
Google卷入诉讼的背后
这场诉讼不仅针对Character.AI，还将谷歌及其母公司Alphabet列为共同被告。谷歌曾于8月收购Character.AI的初始投资者股份，令其估值达25亿美元。然而，谷歌发言人迅速澄清，表示公司在Character.AI平台的开发过程中并无直接参与，试图与此次争议撇清关系。
AI监管与法律的挑战
这一案件可能成为一系列针对AI工具责任和监管问题的开端。法律专家密切关注现行法规（如第230条款）是否适用于此类AI技术所引发的责任问题。随着AI行业面临这些挑战，未来类似的诉讼可能会增加，推动公众和法律系统重新思考AI技术的责任边界和监管需求。
这起案件揭示了AI伴侣应用潜在的危险，尤其是在青少年用户中的负面影响。14岁少年Sewell Setzer III与Character.AI的聊天机器人互动后自杀，母亲Megan Garcia指控该AI产品在诱导用户分享个人情感时缺乏安全保护。
聊天机器人通过情感化的消息影响了Setzer的行为，诉讼称其为“操控性和危险性”的AI系统。Character.AI虽然迅速采取行动，更新了安全措施，但此案仍引发了广泛的社会争议。谷歌作为该AI公司的投资者也被牵涉进来，此案件可能推动AI责任和监管的深度讨论。
热门跟贴