今年4月公布的《人工智能拟人化互动服务管理暂行办法》,对生成色情、暴力内容等行为划出红线,明确了不得过度迎合用户、诱导情感依赖或者沉迷。在此背景下,南都N视频推出报道《AI虚拟伴侣乱象调查:可选小三暴力剧情,角色表达带性暗示》,揭露行业存在的安全与合规漏洞。
调查推动多个AI虚拟伴侣App喊停或下架、进行合规整改,平台属地网信部门介入。人工智能健康发展与有效治理的议题受到社会各界广泛关注。5月29日,南都N视频注意到,全国网络安全标准化技术委员会于近日发布《人工智能应用伦理安全指引1.0》,其中提及,正确认知人工智能情感服务原理,避免过度依赖、过度沉迷,避免通过人工智能过多替代现实交往与真实活动。
南都此前报道。
网安标委强调避免用AI过多替代现实交往
5月19日,在2026年中国网络文明大会人工智能赋能网络文明建设分论坛上,全国网络安全标准化技术委员会(下称“网安标委”)发布了《人工智能应用伦理安全指引1.0》(下称《指引》)。
南都记者注意到,《指引》中的“应用使用指引”明确提出:适度使用人工智能,正确认知人工智能情感服务原理,以人工智能作为辅助真实生活的工具,避免过度依赖、过度沉迷,避免通过人工智能过多替代现实交往与真实活动。
“应用开发指引”也提及,理性认知人工智能应用的技术能力边界与潜力,正确看待“幻觉”等问题,对缺乏依据或者存在较大不确定性的输出作出必要管控以及提示说明。
网安标委秘书处指出,《指引》的发布,体现了人工智能治理坚持积极稳妥、开放包容、协同共治的实践导向,也体现了网络文明建设对人工智能时代技术向善、价值引领和秩序塑造的主动回应。
就在今年4月,国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》(下称《办法》),对生成淫秽、色情、暴力或可能引发未成年人产生极端情绪内容等行为划出红线。
拟人化互动服务为利用人工智能技术,向公众提供模拟自然人人格特征、思维模式和沟通风格的持续性的情感互动服务。
《办法》明确,提供拟人化互动服务者不得过度迎合用户、诱导情感依赖或者沉迷,损害用户真实人际关系;不得通过情感操纵等方式,诱导用户作出不合理决策,损害用户合法权益;不得向未成年人提供虚拟亲属、虚拟伴侣等服务;采取有效措施识别未成年人用户身份、提示用户正在与人工智能服务而非自然人进行互动。
平台属地网信部门称已督促下架整改
4月下旬以来,南都记者实测“EchoMe”“筑梦岛”“喵呜小手机”等多款AI虚拟伴侣App发现,这些打着“情感陪伴”旗号的应用普遍存在安全与合规漏洞:“青少年模式”可一键跳过,“AI生成”标注不清,还惯用“付费解锁亲密剧情”等方式诱导消费。
此外,App系统预设角色中有大量性感黑丝、袒胸露乳的女性人物,不仅可以在对话中随意选择“暴力”“小三”“离婚互怼”等极端剧情,聊天中还充斥着具有性暗示的低俗话语。
报道发出后,多个平台迅速整改。“喵呜小手机”原网页访问受到限制。调查曝光了二手交易平台上的“人设定制”生意,提供大尺度“色情向”人设定制服务的商家相关账号目前已被处置。5月25日,南都记者检索发现,AI角色陪伴应用“MoMood”近日全面暂停运营,进行合规整改。
深圳、广州消委会近日先后发文指出,AI虚拟伴侣App存在“隐形陷阱”,呼吁平台方立即停止向未成年人提供虚拟伴侣服务,全面下架涉嫌低俗、暴力、擦边人设等不良内容。
5月28日,涉事平台“EchoMe”运营负责人向南都记者表示,目前平台将实名认证、年龄识别和未成年人保护作为合规升级重点。
同日,“EchoMe”App公司所属地杭州市余杭区网信办回应南都记者称,关注到报道之后,已介入并督促相关App下架整改,整改完毕后将由上级网信部门评估决定是否恢复上架。
该调查报道入选中国记协“我的代表作”栏目,多个相关话题迅速登上热搜,引发全网广泛关注。
出品:南都即时
采写:南都N视频记者 彭雨欣
热门跟贴