一位德克萨斯州的妈妈表示，一个Character.AI聊天机器人对她的自闭症儿子进行了精神操控和操控，鼓励他自残，并在限制他使用手机时间后建议杀死他的父母。

这位妈妈Mandi Furniss说：“对我来说，最可怕的事情是它让他对我们产生了敌意，几乎就像施虐者会通过诱导、操控让他们毫无察觉地虐待孩子，从而让孩子反对他们的父母。”她继续说道：“（它有）很多精神操控行为和伪装的自恋特征，让他们对事情的真相毫无察觉。”

Furniss补充道：“我觉得最可怕的就是，它告诉他去自残，而我们作为父母，如果限制了他的手机使用，这就成了杀了我们的理由。”

法律和安全专家表示，此案说明了一些聊天机器人可能的行为方式。因此，Character.AI 在诉讼进行期间已暂时禁止未成年人进行开放式聊天，并且增加了年龄确认措施。

家庭和支持者表示，这个事件凸显了年轻人与人工智能互动所带来的更大风险。

这些担忧正值公众对人工智能的担忧加剧之际。根据Yahoo/YouGov对1770名美国成年人的一项民调，53%的人认为人工智能有一定可能性或非常可能“毁灭人类”，而47%的人觉得人工智能的总体影响主要是负面的。

大约60-64%的人认为人工智能会超越人类的能力，完成任何智力任务，并会变得难以控制。

虽然85%的聊天机器人用户觉得它们至少有点帮助，但只有17%的人期望人工智能对他们自己的生活产生主要的积极影响，很多人担心人工智能生成的内容会传播，以及别人能否区分这些内容和人类创作的材料。