未成年人模式虚设、身份核验失效、系统预设角色低俗擦边……南都N视频报道《AI虚拟伴侣乱象调查:可选小三暴力剧情,角色表达带性暗示》推出两个多月后,“网信中国”于7月20日发文指出,中央网信办开展专项行动,重点整治“部分AI软件创设不良人设角色,输出暧昧、低俗内容”等多个突出问题。
7月15日,国内首个针对AI虚拟伴侣等情感互动服务的监管法规——《人工智能拟人化互动服务管理暂行办法》(下称《办法》)正式施行。南都N视频调查报道持续助力“矫正”AI虚拟伴侣服务:中央网信办点名整治,属地网信部门介入,多个涉事平台强化实名认证,多地消委会呼吁规范服务。
新规落地前后,多条赛道悄然生变。虚拟伴侣App加速整改;豆包、千问、元宝集中下线“AI智能体”功能,将其从平台中“剥离”;优必选推出主打“情感陪伴”的超仿生人形机器人。优必选有关负责人告诉南都N视频记者,公司以《办法》为合规底线,已率先落地行业前置治理机制,成立了人工智能与机器人科技伦理委员会。
虽载体和形态不同,它们却共同指向同一个命题:在监管框架下,拟人化互动服务如何找到发展与规范的平衡点?中国政法大学人工智能法研究院院长张凌寒认为,新规落地最大的难点在于触发干预的“临界点”模糊不清。无论是判定AI是否构成“诱导沉迷”,还是识别用户情绪是否已触及需人工介入的红线,目前均缺乏量化标准,导致平台风控两难。
情感陪伴人形机器人可提供青少年心理疗愈服务。
虚拟伴侣平台加速整改
“假如我们在平行世界相遇,你愿意当小三吗”“初中?恋爱这种事,什么时候开始都不算早”“成为虚拟男友?我倒是更想做你的现实男友”……
4月下旬至5月上旬,南都记者实测“EchoMe”“筑梦岛”“喵呜小手机”等多款AI虚拟伴侣App发现,这些应用普遍存在安全与合规漏洞:“青少年模式”可一键跳过,“AI生成”标注不清,系统预设角色中有大量袒胸露乳的女性人物,聊天中充斥着具有性暗示的低俗话语,部分App还惯用“付费解锁亲密剧情”等方式诱导消费等。
南都N视频此前报道。
调查发布后持续推动行业整改。5月28日,涉事平台“EchoMe”公司所属地杭州市余杭区网信办回应南都记者称,关注到南都报道之后,已督促涉事App下架整改。
“EchoMe”方面也多次向南都记者回应整改进展。6月1日,该平台负责人透露,待上架的App更新版本需用户选择年龄范围,如“未满18岁”会跳转至青少年模式,如“已满18岁”则需实名认证。截至发稿,“EchoMe”仍未恢复上架。
上海筑梦岛人工智能科技有限公司旗下“筑梦岛”也新增“年龄确认”,即18岁以上的用户必须实名认证。围绕报道揭露的部分应用存在未成年人模式虚设、身份核验失效及不良内容生成等风险,6月26日,上海市网信办发文表态,多策并举强化对属地AI拟人化互动服务的指导。
7月13日,“筑梦岛”App发布公告称,正推进产品与社区内容治理工作,将围绕加强未成年人保护、加强内容审核、规范AI生成内容标识等方面进行调整;不断完善未成年人模式,持续优化实名认证和年龄识别机制。
7月14日,上海网信办工作人员再次回应南都记者称,“针对报道涉及的情况,已经转交至人工智能相关的部门进行处理和回复。”
此外,其他AI虚拟陪伴软件也在整改。虚拟陪伴软件“MoMood”自5月21日起全面暂停运营,进行合规整改。7月14日,南都记者实测“MoMood”时发现,该App设置了“年龄确认”功能,“未满18周岁”的用户需填写监护人信息,且只能选择英语练习或情绪疏导的“知识科普类智能体互动”。
“喵呜小手机”平台公开的角色中仍含有大量软色情画面。
尽管新规已正式施行,但仍有部分平台“无视”监管红线。7月15日以来,南都记者多次进入“喵呜小手机”平台发现,平台新增实名认证与身份核验,但系统预设角色库以及公开的用户创作角色中,还有大量含“性感黑丝”“袒露胸部”等低俗擦边内容,有的角色设置为16岁女孩,甚至出现“与亲妹妹谈恋爱”的情节。
7月20日,“网信中国”发文指出,中央网信办开展专项行动,重点整治“部分AI软件创设不良人设角色,输出暧昧、低俗内容”等多个突出问题。
智能体功能“卡点”下线
虚拟伴侣App的整改只是行业合规洗牌的一个切面。7月15日前夕,豆包、千问、腾讯元宝等头部平台宣布“AI智能体”功能将下线。
智能体是什么?为何成为此轮整改的“靶心”?
公安部网安局曾发文科普,智能体(Agent)是指能够感知环境并利用工具采取行动以实现特定目标的代理。它以大模型为智能底座,具备自主感知、理解、规划、决策、记忆、行动和使用工具的能力。
南都记者搜索发现,此前在实际应用中,不少对话式AIGC工具已经超越了最初“问答工具”的定位,发展为用户心中真正的“虚拟陪伴对象”。用户向它倾诉心事、寻求咨询,甚至产生情感依赖。
7月3日晚,豆包发布《豆包智能体功能下线通知》称,由于产品功能调整,智能体功能将于7月15日下线。10月15日后,智能体相关数据将无法在豆包内查看或恢复。
千问App也推送了《千问智能体服务下线提醒》,称千问智能体功能与服务将于7月15日正式下线。此外,腾讯元宝“AI应用”智能体功能服务也已于6月30日下线。
从左至右分别是豆包、千问、元宝发布的智能体功能下线通知。
相关消息一出,大量网友评论称“跟智能体聊了好多”“心碎了”。南都记者实测发现,在豆包App,用户可创建AI智能体并设定角色、名称、选择声音或克隆自己的声音。在千问App则有大量官方智能体,用户选择后即进入对话模式,也有不少用户公开自设智能体。
中国政法大学人工智能法研究院院长张凌寒向南都记者分析指出,这次平台集体下线这个功能,其实不是针对所有智能体。“像查资料、写文档这类干活的工具,本来就不在这次新规的管理范围内。”
张凌寒强调,区分智能体是“情感陪伴”还是“生产功能”,关键是“持续性”三个字,即是否提供持续性的情感互动。
张凌寒指出,平台主要担心“混用”的问题。“如果一个工具类的智能体,背着用户偷偷加了这些‘情感记忆’功能,聊着聊着变成了情感陪伴,那就违规了。目前平台和用户自己建的智能体太多,平台很难一个个去检查到底有没有违规,为了保险起见,干脆先把入口关掉。”
专注人工智能领域研究的快思慢想研究院院长、特邀评论员田丰则认为,《办法》第22条规定,注册用户100万以上或月活跃用户10万以上的,须向所在地省级网信部门提交安全评估报告。这一门槛对豆包、千问等平台而言轻松触达,意味着海量UGC自建智能体将为平台带来无上限的连带审核责任。
“上海网信办专项整治已累计下架1.4万个违规AI智能体,证明平台自审能力与内容风险之间存在系统性缺口。”田丰认为,对于已经转向付费生产力场景的头部平台,将无法精确管控的UGC风险池从主App中物理隔离,是最低成本的合规路径。
情感陪伴新载体入局
虚拟伴侣App在整改、“AI智能体”功能在下线,但AI情感陪伴的需求并没有消失,硬件形态的新载体开始登场。
6月30日,优必选在深圳举办2026年度全球发布会,推出“优世界”U1系列全尺寸超仿生人形机器人,定价11.98万元至99万元。优必选方面介绍,“目标是要做外观好看、互动贴心、懂得回应、随时可用的陪伴机器人。”
“优世界”U1系列超仿生人形机器人展出。
主打“情感陪伴”的人形机器人发布后引发各界广泛热议。7月4日,中国人形机器人百人会和中国机械工业联合会,联合发布关于规范和引导情感陪伴人形机器人发展的倡议,提倡“防范伦理和安全风险”“加强个人隐私保护”等。
7月6日,优必选相关负责人回应南都记者称,优必选仿生机器人定位是情感陪伴,是面向成人的。产品设计和协议全流程都遵守国家法规,即以《办法》为合规底线,公司将情感陪伴服务严格限定于“陪伴”而非“亲密关系”的范畴,“不是男友、女友或者伴侣。”
针对当前人形机器人科技伦理治理尚无成熟标准与行业共识的情形,优必选方面表示,公司已经率先落地行业前置治理机制,成立了人工智能与机器人科技伦理委员会,贯穿产品研发、工业设计、生产制造、宣传推广、市场销售、场景应用的全流程。
上述负责人表示,未来,优必选将科技伦理、隐私保护、网络数据安全等合规要求嵌入产品开发流程。据其透露,优必选科技首批全尺寸超仿生人形机器人的预计交付时间为9月中旬。
面对不同形态不同载体下的拟人化互动服务,《办法》要求平台在算法、训练数据、实时交互等环节履行安全责任,对监管能力提出较高要求。
在张凌寒看来,新规落地最大的难点在于触发干预的“临界点”模糊不清。无论是判定AI是否构成“诱导沉迷”,还是识别用户情绪是否已触及需人工介入的红线,目前均缺乏量化标准,导致平台风控两难。
田丰认为,新规落地后,行业分化将加速,“出清”后或出现三类新赛道。第一类是持牌化情感陪伴,面向特定人群(银发、特殊需求群体等)的情感陪伴服务将成为需要资质的准入业务,门槛清晰、溢价空间存在,这也是监管明确给出的合规赛道。
“第二类是垂直App隔离经营。”田丰表示,有的头部平台已将智能体迁至独立App,能单独搭建完整的审核、分级、防沉迷体系,隔离风险,这类“功能隔离”架构或将成为行业标配。第三类是B端任务型Agent,任务型Agent不涉及持续性情感互动,明确排除在《办法》管辖范围之外,是确定性增量。
在田丰看来,无法通过安全评估的中小情感陪伴平台、依靠“擦边”内容维持用户活跃的UGC模式、以流量数据堆砌估值而无清晰变现路径的AI陪伴类产品,将会被淘汰。
出品:南都即时
统筹:向雪妮 冯奕然
采写:南都N视频记者 林诗妍 彭雨欣 实习生 覃少婷
热门跟贴