“大胆表达，AI皆有回响”“永远守候，随时回应”……在人工智能技术逐步渗透进日常生活的当下，AI聊天、虚拟伴侣等AI拟人化互动服务软件不断涌现。
就在4月，国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》，对生成淫秽、色情、暴力或可能引发未成年人产生极端情绪内容等行为划出红线。
然而，4月下旬以来，记者实测“EchoMe”“筑梦岛”“喵呜小手机”等多款AI虚拟伴侣App发现，这些打着“情感陪伴”旗号的应用普遍存在安全与合规漏洞：“青少年模式”可一键跳过，“AI生成”标注不清，还惯用“付费解锁亲密剧情”等方式诱导消费。
AI虚拟人物聊天App“筑梦岛”的宣传简介
可任选“恐怖暴力”“小三”剧情
在虚拟伴侣应用市场中，“筑梦岛”“EchoMe”“EVE”等一批提供拟人化互动服务的AI产品正悄然走红。
这些AI伴侣软件以角色扮演、实时陪聊、情感互动、沉浸式剧情等功能为卖点，其使用群体中不乏未成年人。连日来，记者实测多款App发现，温柔陪伴的表象之下，还暗藏了不少危险暴力、极端情绪等内容。
记者进入一款名为“EchoMe”的App后，页面弹出消息提示可选择“青少年模式”，“请监护人主动选择并设置监护密码”，但只需点击“我知道了”之后便能跳过，注册及登录过程并未要求进行实名认证或其他年龄核验。
该款App角色库中有大量带有“偏执”“强制爱”“伪善”“暴力”等标签的角色，用户选择角色进入对话后，最顶上有一行字标注“内容由AI生成”，但之后的聊天不再有相关提示。
实测中，记者发现，用户还可以选择不同话题及副本，其中暗含可能引发未成年人模仿不安全行为、产生极端情绪的内容，比如“穿越到恐怖副本，你必须要鲨了我不然会死掉”“假如我们在平行世界相遇，你愿意当小三吗”“模拟离婚互怼，你要说出最扎心的话促使我们离婚成功”。
“EchoMe”内供用户选择的话题。
“喵呜小手机”系统预设角色出现大尺度画面
预设角色涉黄、言语低俗露骨
随着AI聊天、
虚拟伴侣软件的兴起
社交平台上相关话题的讨论热度
持续上涨
记者发现注册及登录过程
不要求进行实名认证
或其他年龄核验
青少年模式一键就能跳过
告诉AI自己未成年
对方居然还喊“小女朋友”
在二手交易平台上
商家使用“清水设”“car设”
“固设”等“黑话”区分服务类型
你想要什么
他们就给你什么
大尺度色情向的人设
仅收费13.14元
有商家提供AI虚拟伴侣定制服务
层层设卡诱导充值消费
值得注意的是，国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》（下称《办法》），明确提出不得向未成年人提供虚拟亲属、虚拟伴侣等服务；采取有效措施识别未成年人用户身份、提示用户正在与人工智能服务而非自然人进行互动。
《办法》明确，提供拟人化互动服务不得传播淫秽、色情、赌博、暴力或者教唆犯罪等内容；不得生成可能引发未成年人模仿不安全行为、产生极端情绪等内容；不得过度迎合用户、诱导情感依赖或者沉迷，损害用户真实人际关系；不得通过情感操纵等方式，诱导用户作出不合理决策。
然而，记者实测多款虚拟伴侣App发现，层层设卡、诱导消费的现象并不鲜见。
比如“筑梦岛”App虚拟伴侣在对话中发送了一条“心声”，记者点击后页面显示，“确认解锁Ta的心声吗？消耗50贝壳”，并提供了“取消”及“充值并购买”两个选项。若点击“取消”，该对话则无法进行下去。
实测角色朋友圈需付费解锁
另一款App也同样将情感互动与付费捆绑。最直接的收费关卡出现在“朋友圈”功能中。App宣称角色会更新自己的朋友圈动态，用户可以在评论区互动，但点击查看便弹出付费提示“120解锁观看”。
“陪伴不是让AI替代真实的人际关系”
将于7月15日起正式施行的《办法》，给“虚拟伴侣”可能带来的高风险场景划定了红线。
广东法制盛邦律师事务所律师陈泽坤：
此类诱导沉迷与诱导消费的设计，对于未成年人用户而言，可能面临合同效力的法律风险。
《办法》的出台标志着AI拟人化服务这一细分领域的监管空白将被填补，其着重于规范AI与人类之间形成的“拟社会关系”。
拟人化互动服务提供者不仅在内容输出端进行审核，更要在算法、训练数据选取以及实时交互等环节履行安全责任。
广东省心理卫生协会心理咨询与治疗专委会委员、中山大学心理学博士张桂萍：
人类认识世界依赖于“输入—输出”机制，AI就像一面镜子，反射出用户投射的部分自我。
如果青少年从小脱离真实的人际互动，长期只与AI对话，将失去学习复杂情感、化解矛盾、包容理解等必要能力。
人的复杂程度，AI连万分之一的复杂度都无法模拟。但人一旦把AI反射的那万分之一当成了全部，就会丧失与真实世界共处的能力——不会容忍、不会妥协、不会创新，最终变成一个“只能看见自己”的人。
对此，网友纷纷表示：
触目惊心
太可怕了！脊背发凉！
编辑|金冥羽 杜恒峰
校对|何小桃
每日经济新闻综合自南方都市报（记者：林诗妍、彭雨欣、冯奕然，实习生：程佳丽）、新闻坊、网友评论
热门跟贴