随着AI智能体
化身虚拟好友、情绪搭子
人机情感交互
逐渐走进人们的日常生活
但与之相伴的
擦边低俗、未成年人保护缺失
诱导付费等乱象也持续滋生
近日,《人工智能拟人化互动服务管理暂行办法》实施,这是我国首次针对模拟自然人人格特征、思维模式和沟通风格的情感互动服务划定监管框架。
情感AI赛道野蛮生长
滋生多重乱象
近年来,借助大模型技术迭代,AI拟人陪伴服务、虚拟智能体迅速收获海量用户,消费者可以自由创设虚拟恋人、影视角色、知心好友等个性化AI形象,开展长期持续情感对话。全天候回应的AI成为排解情绪、寻求精神慰藉的载体,但是行业的野蛮生长催生了涉黄擦边、诱导消费、未成年人保护缺失等乱象。
在北京工作的露露长期使用平台自建的智能体功能。她对记者表示:“平时工作压力大,很多不方便和亲友倾诉的情绪我都会和AI聊,长时间对话已经成为习惯。但让人担忧的是,每次深度交流都会袒露大量私人情绪、生活细节,这些对话数据的存储规则、使用边界尚不透明,能否杜绝挪作他用无从确认。”
大学生小周曾给多款AI陪伴产品充值,解锁高级互动权限。他对记者坦言,部分产品刻意设置层层付费关卡,普通对话免费,想要延续深度情感互动、解锁专属剧情就要持续充值。“平台算法精准捕捉用户的情感需求,不断推送增值服务,潜移默化地诱导持续消费。用户投入时间和金钱后很容易产生情感依赖,想要抽身却进退两难。”小周还表示,他曾冲动充值后立刻后悔了想要退费,却被平台层层规则限制,最终退费无果。
更值得警惕的是,部分打着情感陪伴旗号的AI虚拟伴侣App还存在涉黄擦边、未成年人保护缺失等问题。系统大量预设低俗人设、暧昧虚拟形象,角色衣着性感暴露,对话内容充斥着性暗示话语,青少年模式形同虚设、可一键跳过。
采访中,有企业产品经理向记者透露,个别AI陪伴产品将用户定位精准到“四线城市初二女生”,主攻下沉市场未成年人群体。此类用户单次使用时长达到2至3小时,且付费意愿高,成瘾问题较为突出。
六大禁止性规范
为情感互动服务划红线
此次由中央网信办、发改委、工信部、公安部、市场监管总局5部门联合发布的《办法》清晰区分各类业态,实现分类分级、包容审慎治理,首次从制度层面补齐情感AI监管空白。
《办法》明确
其监管对象是模拟自然人人格特征、思维模式和沟通风格的持续性情感互动服务,聚焦具有明显人格设定和情感陪伴属性的AI产品,如虚拟伴侣、虚拟亲属以及能够通过长期互动与用户建立情感联系的自定义角色类智能体。
也就是说,智能客服、知识问答、办公助手等以提效为核心、无持续情感互动的产品不在监管范围内。
《办法》明确了六大禁止性规范
❌服务提供者不得生成危害国家安全、违背公序良俗、侮辱诽谤他人的内容;
❌不得生成美化自残、语言暴力等损害用户心理健康的信息;
❌不得诱导套取商业秘密、个人隐私;
❌严禁向未成年人提供虚拟亲属、虚拟伴侣类虚拟亲密关系服务;
❌不得过度迎合用户、诱导情感依赖与沉迷,割裂现实人际关系;
❌禁止借助情感操纵诱导用户作出非理性决策,损害消费者的合法权益。
《办法》对平台运营义务作出硬性规定
✅平台必须建立算法审核、科技伦理审查、信息内容管理制度;
✅识别用户出现过度沉迷、极端情绪时,开展动态风险提醒;
✅用户连续使用超过2小时,应当弹窗推送休息提醒;
✅严格保护交互数据,未经用户单独同意不得将用户的敏感交互数据用于模型训练。
构建公正合理治理体系
夯实产业安全发展根基
新规施行
不只是AI情感陪伴赛道的分水岭
也呼应了
全球人工智能治理发展大势
2026世界人工智能大会暨人工智能全球治理高级别会议提出,系统阐释全球人工智能治理的中国理念与中国方案,倡导各国坚守安全可控、公平公正、开放包容的发展原则,防范化解人工智能发展风险,健全全链条治理体系,夯实产业安全发展根基。此次针对AI持续性情感互动立规,是平衡创新发展与风险防控的治理实践,也为全球同类业态监管提供了参考样本。
北京理道律师事务所主任律师王久成对记者表示:“区分工具型AI与情感互动AI是新规的最大亮点。工具型AI重在提升效率,而持续性情感互动AI会深度介入人的精神世界,具备较强的心理影响力,因此需要更高标准的伦理约束与用户保护机制。”
王久成认为,以往很多平台模糊两类服务的边界,借助通用大模型入口开放情感陪伴功能,以规避针对性监管。此次新规落地后,平台无法继续游走在灰色地带,必须对情感类拟人互动业务单独落实合规体系。
浙江省消费者权益保护委员会网络消费维权专业委员会委员、网经社电子商务研究中心主任曹磊表示,新规的落地本质上是在技术发展与精神守护之间划出了一条清晰的边界。对于靠擦边起量的产品而言,这无疑是终局;对于愿意在合规框架内探索健康陪伴模式的产品而言,这是一次发展契机。情感陪伴的需求不会因为监管而消失,消失的只是那些靠灰色地带生存的违规业态。
❗❗❗版权提示:文中图片来源于授权网站,未经授权不可转载。
中国消费者报新媒体编辑部出品
来源/中国消费者报·中国消费网
记者/孙蔚
编辑/李晓雨
监制/何永鹏 任震宇
互联网新闻信息服务许可证:10120170022违法和不良信息举报电话:010 - 88315476
热门跟贴