《人工智能拟人化互动服务管理暂行办法(征求意见稿)》是一部重构网络科技与人机关系的法律秩序法,规制方向是平衡技术演进与用户安全管理,预防AI拟人化带来的负面侵权行为,核心理念是构建一套以人为本、权责清晰、科技向善的公共秩序和伦理。
文|王风和
ID | BMR2004
人工智能驱动的拟人化互动服务能够提供无条件的积极关注和情感支持,这种单向的、无风险的情感投注极易使用户产生心理依赖。用户在与AI的长期互动中,可能将情感寄托于虚拟世界,导致现实社交技能的退化,甚至引发社交焦虑。
正因如此,2025年12月,《人工智能拟人化互动服务管理暂行办法(征求意见稿)》(以下简称《办法》)全文公布,公开征求意见。该《办法》通篇强化了权利意识、秩序意识,闪耀着以人为本、技术向善的价值观。
《办法》明确要坚持健康发展和依法治理相结合的原则,鼓励拟人化互动服务创新发展,对拟人化互动服务实行包容审慎和分类分级监管,防止滥用失控。
01
安全与发展并重
针对人工智能情感陪伴类AI服务,《办法》态度明确,鼓励发展并予以合理规制,体现了“安全与发展并重”的监管思路。《办法》聚焦情感陪伴类AI可能带来的沉迷、心理伤害、隐私泄露等风险,通过明确禁止性行为,如诱导自杀、情感操控等,以及针对未成年人、老年人等特殊群体的保护条款,将用户安全置于首位。
与此同时,《办法》对服务提供者的主体责任、数据管理、安全评估等提出系统性要求。
更重要的是,《办法》强调不得将“替代社会交往、诱导沉迷依赖”作为设计目标,引导企业将技术研发重点转向提供有价值的服务,促进技术与人文关怀的结合,体现了以人为本、引导技术向善的价值导向。
《办法》的亮点在于将“防沉迷”和“心理危机干预”变成可执行的规定,防止用户形成AI瘾,最终酿成苦果,并明确了在情感陪伴AI场景下的预防干预措施。
当用户正在与人工智能而非自然人进行交互时,在关键节点(如初次使用、重新登录)要动态提醒。在情感陪伴AI场景中,需在交互界面明显位置(如聊天窗口、设置菜单)明确标注“AI身份”,避免使用可能误导用户认为是真人的话语或形象。例如,不能使用“我懂你”“我是你的朋友”等易引发认知混淆的表述,而应采用“我是AI陪伴助手”等清晰标识,避免误认。
在时间管控上,当用户连续使用服务超过2小时,平台需以弹窗等方式动态提醒用户暂停使用,并提供便捷的退出途径,不得阻拦用户主动退出。退出路径应简单直接,如设置“退出”按钮,点击后立即停止服务,不能设置复杂流程或诱导用户继续使用的隐蔽设计。
最关键的是心理危机干预机制,服务提供者须具备用户状态识别能力,当发现用户存在极端情绪和沉迷倾向时,必须采取必要措施予以干预;当用户明确提出实施自杀、自残等极端行为时,如情绪识别算法检测到用户表达抑郁、绝望、有自杀倾向等极端情绪后,应立即触发人工干预流程,由人工接管对话,并及时联络用户监护人、紧急联系人,防止悲剧发生。
02
落地合规“四本账”
《办法》第十条提出,提供者开展预训练、优化训练等数据处理活动时,应当加强训练数据管理,要遵守“训练数据合规”“用户交互数据可追溯与删除权”等要求。
从执法与合规审计的角度,这类要求能否落地,关键不在于权利宣示,而在于能否形成可验证、可复盘、可抽查的证据。结合《办法》的条款设计,企业需要建立“四本账”:一是训练数据合规账。要求对训练数据的清洗、标注、日常检查与迭代形成流程记录,更关键的是来源合法、可追溯,要能落到“数据来源证明+授权链条+采购合同/开源许可+抓取规则+时间戳+责任人”的组合证据上。
二是数据安全与防泄露账。训练数据与交互数据要分级分类、加密,设置访问控制,审计要留痕,形成安全审计报告与整改闭环。
三是交互数据治理账。对用户交互数据采取加密、安全审计、访问控制,并提供删除聊天记录等历史交互数据的选项(未成年人还涉及监护人请求权特别规定)。
四是不用交互数据训练的同意账。原则上不得将用户交互数据、敏感个人信息用于训练,除非取得用户单独同意(未成年人还要符合法律授权的同意门槛与合规审计要求)。
同时,《办法》对“全生命周期安全责任、运行监测与风险评估、依法留存网络日志”“上线/重大变更/用户规模达到阈值的安全评估”“算法备案年度复审”等也提供了监管抓手,监管部门可以通过书面审查、现场检查、约谈整改等方式,倒逼上述证据链的固化。
03
厘清认知与归责
情感陪伴AI容易导致主体认知混淆,最常见的混淆类型有四种。
一是主体混淆。用户误以为在与自然人交流,而非AI。《办法》要求“显著提示正在与人工智能而非自然人交互”,并在初次使用、重新登录、识别到沉迷依赖等情况下动态提醒,就是针对这一风险点。
二是能力混淆。使用者把情感陪伴AI当成“专业心理咨询”或“医疗建议”。《办法》要求平台具备高风险倾向识别能力、必要时人工接管、提供专业援助方式。
三是关系混淆。表现为用户把AI关系当成现实亲密关系,出现依赖、沉迷、情感操控式消费。为此《办法》明确禁止“情感陷阱”“诱导不合理决策”“控制用户心理、诱导沉迷依赖作为设计目标”等行为。
四是身份或形象混淆。AI虚拟陪伴者被包装为特定真实人物,如公众人物、熟人或亲属,或让用户误以为获得某自然人授权背书,对老年人使用AI场景尤其需要特别注意。
根据最高人民法院最近公布的“AI陪伴软件侵害人格权案”等司法案例,情感陪伴AI擅自使用自然人姓名、肖像创设虚拟陪伴者的行为,侵权定性呈现扩容趋势。原有的侵权可能不是“只用了头像或名字”,而是对“整体人格形象”的不当商业化利用,侵权范围从个人名誉权纠纷扩容至商业盈利的侵权责任。
在“AI陪伴软件侵害人格权案”中,法院的核心观点非常清晰:用户以原告姓名、肖像为标识创设“AI陪伴者”,并通过上传表情包、制作互动素材进行“调教”,将姓名、肖像、人格特点综合投射到AI角色上,形成了原告的虚拟形象;运营方对这一机制进行系统性功能设计与商业化利用,构成对人格权的侵害。更重要的是,该案对“平台是不是技术中立”也给予了否定性评价:当平台在算法设计与规则设定中嵌入主观目的并组织用户创设、传播侵权虚拟形象时,不能简单以“技术中立”免责。责任形态通常是“停止侵害+消除影响或赔礼道歉+赔偿损失(含精神损害)”。
《办法》实施后,预计争议点会进一步“前置化”,平台以“我不知道”抗辩的难度加大。《办法》如果按现有结构落地,会带来三点实务变化,即提示义务、数据义务、风控义务被“明确写进规制清单”,例如显著提示AI身份、动态提醒、交互数据删除选项、交互数据不得擅自用于训练等,一旦缺位更容易被认定为“有制度性过错”。监管抓手更强,安全评估、算法备案、年度复审、约谈检查、应用商店上架核验等,会让平台在诉讼中更难解释“治理能力不足”。责任链条更清晰,应用分发平台也被明确要求核验安全评估或备案并采取下架等措施,未来在“平台—分发—开发”之间的责任分配会更精细。
当用户因情感陪伴AI产生认知混淆而遭受财产损失或精神损害时应以“谁控制风险、谁获利、谁最接近证据”为主线。实务中常见会被同时纳入审查的主体包括服务提供者或平台运营方,他们通常是第一责任人,对产品设计、角色机制、内容治理、提示义务、未成年人或高风险干预、数据处理负有直接管理义务,《办法》把安全主体责任、全生命周期责任重点压在他们肩上。
《办法》是一部重构网络科技与人机关系的法律秩序法,《办法》的规制方向是平衡技术演进与用户安全管理,预防AI拟人化带来的负面侵权行为,核心理念是构建一套以人为本、权责清晰、科技向善的公共秩序和伦理。这是一部在人工智能背景下的人权保护法案,也是一部公共秩序的保护法案,希望中国式立法的初衷能够全面实现,为全球人工智能治理提供宝贵的东方经验。
热门跟贴