□ 中国妇女报全媒体记者高亚菲
最近,一些号称“外国山海经”的AI生成怪图、怪视频,在中小学里突然火了起来。这些内容造型诡异,有的还夹杂着暴力、血腥元素,甚至歪曲历史经典。
随着AI制作越来越简单,一批只想“赚流量”的制作者,利用算法推荐,专门向孩子推送这些“电子糟粕”。算法推荐成为低俗内容的“帮凶”,当技术沦为收割注意力的工具,我们不得不问:这背后原因为何?该怎样为孩子们守住一方干净的网络环境?
从屏幕到玩具:产业链的“快”与“害”
“咚咚咚咚撒呼啦!”“李丽丽拉里拉!”一个男孩一边念念有词,一边和身旁的同学打闹。这些像咒语的句子,其实“AI山海经”怪物的名字。这种由算法批量制造、借由社交攀比传播的“电子怪物”,正悄然改写许多孩子的课余学习认知与兴趣。
“我家5岁的儿子一刷抖音就要刷山海经,还说要外国的山海经。”小羽爸爸向中国妇女报全媒体记者讲述着最近的怪事:年幼的小羽最近在手机上刷到一些奇怪的内容。这些由AI简单拼接生成的动画形象,常常夹杂着暴力画面。“我觉得画面诡异、情节也很荒诞。但色彩鲜艳、节奏快速,很容易吸引孩子观看模仿。”
三年级的果果告诉妈妈,自己班上已经有同学互相转发这种AI魔改山海经,于是果果妈妈打开短视频平台搜索相关内容,结果被吓了一跳。原来这类内容不止魔改山海经,各种童话故事和迪士尼动画主角都有所谓的“邪典版”。点开这些视频,一些在成年人审美中称得上猎奇、怪异、令人不适的形象比比皆是:有些视频内容更为惊悚,比如“奥特曼怀孕”“小猪佩奇打骷髅”等。
记者通过梳理和调查发现,这些色彩鲜艳的动画视频,往往打着“益智早教”“色彩启蒙”的旗号让家长放松警惕。动画用高饱和度的色彩和快速切换的画面吸引着孩子的注意力,内容却往往空洞无逻辑,甚至充斥暴力血腥。
更令人担忧的是,这些内容正从线上蔓延到线下。
电商平台上,被魔改的动画形象被印在衣服上、做成盲盒和卡牌,以“给孩子的礼物”为名热销。不少孩子为了收集这些商品,频繁向家长要钱,甚至形成了相互间的攀比。
在某短视频平台,输入相关词条,能看到不少孩子在视频中开心地展示着书包挂着的“耐克鞋鲨鱼”挂件,房间里摆满了造型诡异的“木棒人”“仙人掌象”玩具……
平台治理之路:如何当好守门人?
尽管各大视频平台设有“未成年人模式”,但实测发现,有些含有AI魔改动画视频内容的APP只需卸载重装,就能以“游客模式”绕过限制,继续自由浏览不良内容。
对此,北京理工大学智能科技法律研究中心研究员王磊表示,虽然我国已初步构建以未成年人保护法、《中华人民共和国网络安全法》《未成年人网络保护条例》为核心,并包含《生成式人工智能服务管理暂行办法》等专门规定的法律体系。然而,在具体认定和处罚层面,针对利用AI生成、传播危害未成年人内容的行为,仍面临多重挑战。
首先,法律条文对“AI山海经”这类新型低俗混杂内容缺乏清晰界定,其危害性常处于认定模糊的灰色地带,导致处置依据不足。其次,AI内容生产链条复杂,模型开发者、平台、用户之间的责任边界难以清晰划分,归责存在现实困难。最后,现有处罚流程周期较长,与有害内容的快速传播不匹配,且罚款等惩戒措施威慑力有限,部分违规收益可能远高于违法成本。跨境传播治理亦是当前的法律执行难点。
平台如何当好“守门人”?王磊认为平台须从根本上转变逻辑,将社会责任置于流量目标之上。应建立独立的未成年人推荐体系,降低娱乐化内容权重,丰富优质教育资源,并向社会公开算法原则,接受监督。唯有构建真正有益的内容生态,才能实现可持续的长期发展。
王磊补充,在治理层面,一是应推行强制性的AI内容标识与透明度义务。目前,世界各国以及国际组织纷纷采取措施推进生成式人工智能标识制度的建立。2024年3月,联合国发布《抓住安全、可靠和值得信赖的人工智能系统带来的机遇,促进可持续发展》,鼓励开发和部署有效、可获取、适应性强、具有国际互操作性的内容认证和来源识别机制。我国自2025年9月1日起开始施行的《人工智能生成合成内容标识办法》要求,AI生成合成内容必须添加显式标识或隐式标识,并要求提供网络信息内容传播服务的服务提供者应当采取技术措施,规范生成合成内容传播活动。
二是发展以溯源和检测为核心的技术治理工具,例如,通过隐形水印和强制标签实现内容可追溯、可识别,并结合AI检测技术,从源头降低有害内容的迷惑性。王磊表示,这些技术手段必须与法律监管紧密结合,才能构建覆盖内容全生命周期的有效治理闭环。
被算法“喂养”的童年:心理代价何在?
不少家长在焦虑的同时生出疑惑:孩子们为何易于被这类猎奇、荒诞、带有“暗黑”元素的内容吸引?
“处于此年龄段的孩子,大脑前额叶尚未发育完善,使得冲动控制与理性判断能力较弱,而好奇心、寻求刺激与群体归属感的需求则达到高峰。”郑州知愈艺术表达成长空间、青少年心理咨询师贾昕娜表示,青少年对“AI魔改”内容的沉迷,根植于其心理发展的核心特点。
“具体有四点。”贾昕娜进一步说明,一是被旺盛的猎奇心驱动探索。AI生成的诡异、未知形象,完美契合了孩子们突破常规、探索边界的本能冲动。二是单调生活需要情绪出口。在“学校—家庭”两点一线的固化生活中,带有“暗黑”元素的虚拟内容能提供一种安全可控的感官刺激,类似体验“鬼屋”的兴奋。三是强烈的社交归属压力。当某种内容成为同龄人中的“社交货币”,不了解就意味着被孤立,促使孩子主动接触以融入群体。四是对“力量感”的隐性渴望。现实中常处于被管理的青少年,容易向往虚拟角色所具有的颠覆性掌控力。
“加之社会阅历浅、批判思维尚未成熟,他们更易被强烈、怪诞的视觉形象俘获注意力,而难以理性辨识其背后的扭曲价值观。”贾昕娜补充,从教育心理的角度看,长期接触这类内容对青少年注意力、逻辑思维、审美偏好和暴力认知会产生多维度的负面影响。
贾昕娜表示,低俗AI内容如“数字污染”般侵蚀青少年心智,会造成多层面危害:首先是注意力碎片化。高强度感官刺激的“电子快餐”使大脑习惯于即时满足,导致对需要深度思考的学习活动产生排斥。其次是逻辑思维退化。混乱荒诞的内容削弱青少年辨别真伪、建立因果认知的能力。此外,还会导致审美趣味扭曲。怪异低俗的视觉形象拉低审美基准,使其对经典艺术与自然之美逐渐麻木。
为此,贾昕娜呼吁广大的教育者和家长,帮助孩子建立新的网络生活习惯。首先要帮孩子建立健康的内容消费习惯,就像教他们辨别变质食物一样学会筛选信息;其次要培养辨别媒介的本质,让孩子明白“AI生成≠真实”,学会用批判性思维看待网络内容。最重要的是保持开放的亲子沟通,当孩子接触到不良内容时,用方法引导代替简单禁止,让孩子在安全的环境中建立对美的认知和对暴力的警惕。
为AI魔改“画出”红线:技术如何向善?
AI魔改动画视频之所以大量传播并流行,一方面是因为AI技术大幅降低了制作门槛,任何人只需输入几个关键词,就能快速生成一段动画;另一方面,部分平台在算法推荐上“推波助澜”,孩子一旦点击,系统就会持续推送同类内容,形成“信息茧房”,让家长防不胜防。
对此,记者就技术层面咨询了中国科学院自动化研究所研究员董晶。她介绍,当前,低俗AI内容的生成主要依赖于开源扩散模型、简易人像合成工具与一键式视频平台。其“低门槛”体现于三方面:成本极低,消费级显卡即可运行;技能要求近乎为零,用户仅需输入文字即可批量生成;获取与迭代极快,网络上有大量免费资源和教程,使“技术小白”也能迅速成为内容生产者。
董晶表示,技术门槛的迅速降低带来了显著的社会隐患。青少年易被此类猎奇、扭曲的视觉内容吸引,不仅影响其价值观形成,也削弱文化认同。此类问题核心不在于技术本身,而在于缺乏有效约束的价值取向与监管机制。
董晶及其科研团队长期从事视觉可控生成、人像合成与鉴伪、多模态内容安全等研究,开发的伪造检测与溯源平台也已在多个行业应用。
她强调,目前人工智能生成内容(AIGC)检测与治理正面临双重挑战。技术上,生成内容愈发逼真且不断引入对抗性处理,传统辨别真假的方法效果减弱。生态上,内容经多次传播与加工后缺乏可信元数据记录,导致溯源困难。同时,海量审核需平衡准确性与效率,过度过滤易引发争议。
“最后我想强调,技术问题终须依靠技术手段解决,但呵护孩子们的成长更需要法律、平台责任与公众意识的协同。作为科研人员,我们希望通过持续的技术创新,筑牢这第一道防线,让技术真正用于启迪智慧、传承文化。”董晶说。
热门跟贴