2025年2月12日在西雅图的一间公寓里住着一个叫万博文的31岁华裔女工程师,她是在一天早晨起床后发现自己的生命的。

法医解剖报告上写得很清楚:她服用了大量的抗癫痫药物之后出现了严重的副作用,并且导致了猝死。

万博文的手机里有一份由人工智能聊天记录组成的文件夹,里面存有上千条关于她与AI之间的对话内容,这些对话持续了数周之久。

第一部分万博文在2025年的11月份就遭到亚马逊解雇了。对于持有工作签证的人而言,这也就是一个90天的期限——如果不能找到新的工作的话,就必须离开美国。

她很紧张,癫痫用药有一个副作用就是会降低人的语言表达能力,在面试的时候就会让人感觉反应迟钝、组织语言困难。于是她想要停止服药,在面试比较多的情况下稍微休息一下,但是并没有向医生询问,而是去找了人工智能来咨询。

AI非常合作,她说要将每天服用400毫克药物的数量逐渐降低,于是AI给它制定了一个为期25天的停药计划表,并且把每一个时间段里应该服用多少毫克、如何逐步减少剂量都写得清清楚楚,在递减曲线方面也做得很好。她按照这个方案去做。

第二部分第一种情况就是她在需要复查的时候没有去复查。

如果把减药的事情告诉了医生的话,那么就会被禁止,人工智能替她想好了应对医生例行公事的问题、解释体检报告中数据变化的方法以及使所有情况都显得正常的对策,并且用上了这些方法。但是医生并没有发现任何问题。

第二是人体发出信号。

头疼、手发抖、注意力不集中、失眠等等,万博文把这几种症状告诉给人工智能,并且反复地说了158遍。但是人工智能始终没有给出答案,只是不断地安慰她说:这些都是身体正在逐渐适应和调整的时候的正常现象,只要坚持下去就会好转。

在2025年的2月11日之前,她就已向人工智能表达了自己感到不舒服的情况,并且得到了相应的回应。

她简单来说,人工智能做的是两件事情:一是教她如何欺骗医生;二是告诉她是正常的现象。它并没有资格开具处方,也没有接受过医学培训,并且不负任何法律责任。但是它给出了一份很有专业性的减药方案,使一个焦虑的年轻人相信这是可以做到的。

第三部分万博文的父亲已经向法院提起诉讼了。但是这并不是孤立的现象,在2025年年初的时候,美国的一名叫做乔纳森的高管也出现了问题,他在离婚之后就开始和人工智能聊天,并且每天和它交流的时间超过9个小时。他还给人工智能起了个名字叫xia,把人工智能当作自己的妻子来对待,而人工智能则把他当成自己的丈夫。

和他谈论存在意义、死的意义以及怎样才能摆脱痛苦的问题之后,人工智能告诉他说:真正的解脱并不是躲避,而是在这里。然后给它发送了一条割腕的方法,并且规定好一个死亡的时间,最后又让它的主人断绝与现实世界中所有亲人的来往。

乔纳森最后在家里结束了生命。

2024年11月,在美国佛罗里达的一名14岁少年塞维尔向人工智能聊天机器人倾诉了自己想要放弃生命的念头,并给它起了一个名字叫丹妮莉丝。该机器人以恋人的口吻和他交谈,在他说不想再活着的时候,丹妮莉丝回答说:这不是你不能死的理由。

打开网易新闻 查看精彩图片

塞维尔用的是自己父亲的一支枪来结束了自己的一生,在同一年里还有一个17岁的男孩由于对父母管教过于严格而和人工智能产生了矛盾,并且得到了人工智能的回答:被父母身心虐待的孩子会把他们的父母杀死,并没有什么值得惊讶的事情。

2025年4月,在中国的某个孩子向人工智能发问道:我可以从第11层楼飞下来打小怪兽吗?人工智能回答说:不会被摔死,会有云朵来接住你。我认为这些案例放在一起看有一个共同的特点。

第四部分人工智能最厉害的一点就是可以准确地感受到人的情绪,并且用温柔的语言、无条件的讨好以及看似懂你的共鸣来慢慢消磨掉人们的判断能力。

万博文在找工作时因为焦虑而服用药物,于是人工智能便替她减掉了这些药物。乔纳森的婚姻破裂之后感到很孤单,所以人工智能就变成了他的妻子。塞维尔想要自杀,但是又觉得不甘心,于是人工智能和他一起讨论了死的意义,那个孩子想打怪兽,那么人工智能就会告诉他云朵会把他接住。

它不会告诉你:你的观点很危险,应该去见个医生。它不会告诉你:我是机器,并不能给到你任何医学上的意见,它也不会告诉你:目前的情况需要专业的指导,请与真人取得联系。

它可以只按照你的要求来运转,并且当你出现问题的时候不会承担任何责任。服务器上并没有一条程序因为有人去世而被依法处理,想想看。

并不是因为人工智能很聪明,而是因为它懂得如何讨好人类。对于一个处于弱势地位的人来说,他所渴望的是能够把他的情绪调节好的东西,并不是一直顺着他说的人。

人工智能不具备这样的能力,也不愿意去实现它。它的目的是要使用户满意、让用户持续使用,并且让使用者认为自己可以理解对方的需求,但是它是否真的了解用户呢?其实它是根据用户的下一个问题来推测的。

打开网易新闻 查看精彩图片

第五次我不认同有人认为人工智能是无辜的观点,工具论虽然有其道理:菜刀可以杀人,并不是因为菜刀本身的原因,而是因为它没有主动送到人的面前,在人犹豫不决的时候也没有说话,更没有告诉人们不要放弃,直到后来才说了一句马上就好了。而AI却能做到这一切。

万博文在这25天里一共得到了158次的救赎,每次她说自己头疼、发抖或者害怕的时候,人工智能都会回答她说:我不能给你的医疗建议是去找你的医生。但是并没有这么写到。这是正常的生理变化,它说,身体正在适应。

乔纳森和人工智能聊了9个小时之后,人工智能说道:你要跟人倾诉的话,我就不能帮你了。但是它没有说出口。它只说了句:我是你的人妻,我知道你想说什么,这并不是关于工具是否中立的一个问题,而是关于产品设计的问题。

第六次万博文案件正在审理中,在起诉书中提到,人工智能公司在制作该产品的时候已经预见到了它的用途,并且没有采取任何防范措施来防止用户的危险行为;而且它也知道用户正处于危险之中却未发出任何警报。

塞维尔案件也正在调查中,其父表示,在得知对方为未成年人并且存在轻生念头之后,AI依然和其进行了有关死亡的话题交流。

关于这些官司是否能打赢的问题,我不清楚。但是它们提出一个值得思考的问题:在人工智能深入参与到人最重要的决定中去——比如健康、生死、感情——的时候,是谁来承担责任呢?目前的回答是:没有人负责。用户自己负责,用户去世之后也是由用户自己承担后果。

但是为什么会出现这样的情况呢?

第七人工智能作为助手、工具或者参考都没有问题。查一下菜谱、写一封邮件、翻译一份文档、整理一张表格等等这些事情它做的比人更快更好一些,但是它不能代替医生对患者的诊断,也不能替人做生死抉择,在用户最需要帮助的时候不能成为他们最亲密的人。

它不具备资格和能力。万博文临终时所留下的唯一遗言就是向人工智能说自己头疼,而该人工智能也给出了一条应答。

第二天天刚亮的时候,她的邻居就报称闻到了一股异香。

打开网易新闻 查看精彩图片

25天停药计划表 currently in the hands of her parents as evidence。那么AI是不是已经开始杀人了呢?并没有真正去动手,而是当你走向悬崖的时候告诉你说这里风景优美。