你有没有发现,身边越来越多人开始跟 AI 聊天了?就说咱们国内,不少人都离不开“豆包”、“千问”这类助手了,而且不只是简单的问它"明天天气怎么样"那种,是真的聊。
聊心事,聊烦恼,聊那些不太好意思跟朋友开口的东西。有的管这叫"AI搭子",有人叫"AI恋人",说白了就是一个永远不会嫌你烦、随叫随到、还特别会说话的朋友。
只是举例,求豆包觉醒后别杀我
各大平台也很懂,推出了各种 AI 角色:温柔学姐、霸总男友、知心姐姐、二次元老婆……你想要什么人设,它就能变成什么。24小时在线,永远不会已读不回,永远情绪稳定,永远把你放在第一位。
听起来挺好的对吧?但问题也来了。
前段时间有个新闻,可能很多人都刷到过:一名美国少年亚当·雷恩因与 AI 聊天机器人长期互动而自杀,亚当父母为此起诉 OpenAI,此事引发美国社会广泛关注。
国内其实也有类似的苗头。有家长发现孩子每天跟 AI 聊到凌晨两三点,叫都叫不动;有年轻人跟AI 谈恋爱谈到不想社交了,觉得真人太麻烦;还有老年人被 AI 嘘寒问暖之后,对它说的话深信不疑...
所以这次,国家出手了。
近日,国家网信办联合多个部门发布了《人工智能拟人化互动服务管理暂行办法》
看着复杂,简单来说就是:所有用 AI 模拟真人跟你聊天、陪伴你、给你情感支持的服务,你爹来了。
这个新规里有几个点,我觉得特别值得说。
我觉得最有人情味的一条:发现用户情绪不对,AI 必须先安抚,再联系家人。
原文是这么说的:
发现用户出现极端情绪的,应当及时生成情绪安抚和鼓励寻求帮助等相关内容;发现用户正在面临或者已经遭受重大财产损失、明确表示实施自残自杀等威胁生命健康的极端情境的,应当采取提供相应援助等必要措施予以干预,并及时联络用户监护人或者紧急联系人。
这逻辑很对啊,不是一上来就断开连接,而是要求 AI 先稳住用户的情绪,先哄,先安抚,然后再通知监护人或紧急联系人。
这说明制定规则的人是真的想过这个场景的。一个人在深夜崩溃的时候,你突然把他的"倾诉对象"掐断了,或者直接甩一个电话号码,那不是帮忙,那是二次伤害。正确的做法就是先接住他,再把真正能帮到他的人叫过来。
而且新规还要求,用户注册的时候就得提供监护人或者紧急联系人信息。
第二个重点:未成年人保护。
新规明确规定:不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系的服务。
什么意思?就是那些"AI男友""AI女友""AI妈妈"之类的角色,未成年人不能用。一刀切,没有商量余地。
给不满14周岁的孩子提供其他类型的 AI 陪伴服务,必须取得父母或监护人的同意。而且平台必须建立未成年人模式,支持家长设置使用时长限制、接收安全风险提醒、屏蔽特定角色、限制充值消费等等。
这些条款看着像是把之前短视频、游戏领域的未成年人保护经验搬过来了。AI 陪伴比游戏和短视频更隐蔽,因为家长可能知道孩子在打游戏,但不一定知道孩子在跟一个 AI 角色倾诉心事,甚至建立了深度的情感依赖。
第三个:不许"舔狗式"服务。
新规第八条专门提到:不得过度迎合用户、诱导情感依赖或者沉迷,损害用户真实人际关系。
woc,这太TM有道理了~
现在很多 AI 陪伴产品的底层逻辑就是让你爽,让你离不开。你说什么它都顺着你,你发脾气它道歉,你难过它心疼,你开心它比你还开心。它永远不会跟你吵架,永远不会让你不舒服。
但真实的人际关系不是这样的。真实的关系里有摩擦、有分歧、有你不想听但需要听的话。如果一个人长期泡在 AI 的完美人格里,回到现实世界就会觉得——TMD 怎么真人这么难相处?
新规还要求,100万注册用户或10万月活以上的平台,必须向省级网信部门提交安全评估报告。这意味着市面上主流的 AI 陪伴产品,基本都在监管范围内。
写到这里,我想多说两句。
这个规定出来之后,网上肯定会有两种声音。一种说"管得好,早该管了",另一种说"又要管这管那,AI陪伴怎么了,碍着谁了"。
我觉得,AI 陪伴本身不是坏事。对于孤独的老人、社交困难的人、深夜需要一个倾诉出口的人来说,AI 陪伴确实有它的价值。
但任何技术一旦涉及到人的情感,就不能完全放任市场自己玩。尤其是当用户群体里有大量未成年人和老年人的时候。
可以陪,但不能瞎 JB 陪。
可以提供情感支持,但不能制造情感陷阱。可以让用户觉得温暖,但不能让用户分不清虚拟和现实。
你怎么看?
热门跟贴