最近,有读者向上海辟谣平台发来一则主题为“上海老教授夫妇从21楼坠下,床上摆180万元现金”的帖子,询问真伪。该帖子细节翔实,既有地点“上海虹口区安澜公寓”,又有多位有名有姓的当事人。乍看之下,真假难辨。

但初步核查就发现不少问题:虹口区没有“安澜公寓”,当地近期也没发生类似事故;经国家反诈中心App等多个具有“AI内容鉴定”功能的应用检测,帖子被判定为“文本含AI生成痕迹”。

国家反诈中心App对网帖的鉴定结果
打开网易新闻 查看精彩图片
国家反诈中心App对网帖的鉴定结果

记者顺着这条线索进一步调查发现,类似“真实地名+虚构情节”的帖子大量出没于信息类网络平台,并形成一条低成本、流水线式的灰色内容产业链。同时,平台处置存在明显滞后,不仅没有按国家规定强制发帖者为这些虚构内容打上提示标签,而且在部分账号已被发现有问题时,并未限制他人复制转发虚假内容,导致谣言扩散。

打开网易新闻 查看精彩图片

虚构故事批量泛滥

从读者发来的网帖看,文中人物、地点、关键情节一应俱全,但叙事口吻与虚构小说很类似,AI内容鉴定结果也证实,文章由AI生成。记者原以为这只是个别网民编造的博眼球作品,可顺着发布账号和关键词溯源,却揭开一类正在蔓延的网络乱象。

以发布“老教授夫妇坠楼”帖子的账号为例,其在某资讯平台已积累上万粉丝,发布了4700多条帖子。每篇帖子的标题都颇有悬念,如“北京老人五岁孙子坠井亡,三年后抽干井惊呆了”“四川56岁男子信蒲公英能抗癌,天天泡水喝,1年后身体竟这样”“广东男子拾金38万元,对方未谢,次日带6人登门,一句话他愣住”……点开后,发现大部分都是情节离奇的社会事件,有具体的时间、地点、人物。

该账号发布了大量虚构文章
打开网易新闻 查看精彩图片
该账号发布了大量虚构文章

可记者对这些帖子全文开展“AI内容鉴定”后发现,大多为AI生成;依据帖子提及的时间、地点逐一核查,同样“查无此事”。

发帖频率更是证明了这些帖子是其牟利工具——初步统计显示,该账号平均每天发布3条虚构帖,单日最高发布量超过10条。

此外,记者在多个资讯类网站上发现大量类似的账号和帖子。相关帖子都采用“真实地点+虚构故事”模式,而且互相抄袭:仅“老教授坠楼”的故事就有多个相似版本,只不过地名、人名有差异;其余剧情模板也被反复套用:有的写家庭情感纠纷,有的渲染离奇社会事件,有的编造邻里矛盾、养老悲剧。

打开网易新闻 查看精彩图片
不同平台上有大量内容雷同的虚构文案
打开网易新闻 查看精彩图片
不同平台上有大量内容雷同的虚构文案

不同于AI生成图片、视频容易出现画面破绽,纯文本造假的欺骗性更强。没有画面失真、人物畸形这类直观破绽,文字可以做到逻辑通顺、细节丰富,普通读者很难直接分辨是人工撰写还是AI生成。当虚构故事绑定真实城市地名,很多人会下意识默认事件真实发生,进一步助推谣言传播。部分帖子流传开之后,还会被其他自媒体二次改写,衍生更多版本,进一步放大误导效应。

某AI生成大模型技术人员表示,按照当下技术,生成这类帖子成本极低,“编故事的人只要借助通用AI大模型,输入故事梗概,几秒钟就能得到AI编写的故事。替换地名、人物信息后,还能批量生成数十上百篇差异化的帖子。”

至于发帖者的目的,也很简单:借助AI批量产出以假乱真的故事,博取流量、积累粉丝,后续通过平台流量分成、商业广告、商品带货等实现流量变现。

平台治理存在缺位

按照《人工智能生成合成内容标识办法》和强制性国家标准GB 45438‑2025《网络安全技术人工智能生成合成内容标识方法》,公开传播人工智能生成或合成的文本、图片、音视频时,应落实标识义务。其中,“显式标识”应清晰可见,即网友在浏览相关文本时,能明白无误地了解相关内容为AI生成。

但记者调查发现,很多AI虚构故事没有标识,部分账号更是手动删除AI大模型生成文本时自带的“文章含AI内容”等提示语句,刻意隐瞒内容属性,误导他人。

这一问题与平台管理缺位不无关系。

熟悉平台治理工作的业内人士陈强(化名)透露,部分平台的审核机制本身就有短板。一方面,很多资讯类平台所发布信息中既有转发的时事新闻,也允许用户分享小说等虚构创作。因此,平台的审核机构无法自动甄别内容属性,难以区分文学创作与冒充社会事件的谣言。造假者利用这一漏洞,将不写明“本故事纯属虚构”的内容冒充社会新闻发布,误导他人。

另一方面,平台的内容审核中心也忽略了AI生成文字的危害。当前,大部分平台对文字类信息的审核重点在于是否存在违法违规类关键词,但对“文字由AI生成还是人工写作”缺少常态化的识别技术与审核机制。因此,大量伪装成社会故事的AI生成帖子得以顺利通过系统审核,无须附加任何提示标签即可向网友推送。

更糟糕的是,部分平台算法还会依据帖子热度,持续推送含有高冲突情节的帖子。“故意传播虚构故事的账号往往擅长捕捉大众情绪,用家庭悲剧、地方离奇事件等引流,而平台算法过度依托互动数据分发流量,抬高了虚假内容的曝光权重。”陈强说。

记者也注意到,部分发布大量虚构帖的账号,竟然获评平台的“内容精选官”“优质创作者”。

更值得关注的是,记者调查还发现,即便已经发现问题账号,平台的处置也不够有效。例如,发布“老教授夫妇坠楼”等大量虚假帖子的账号一度被平台标注“因违反相关规则,该用户已被禁言”,但时隔不久,就取消了这一处置。即便在“禁言”期,该账号发布的不实帖子仍可阅读、转发。可见,平台没有切断虚假内容的传播链路。

造假账号“禁言期”很短,还当选为平台的“精选官”
打开网易新闻 查看精彩图片
造假账号“禁言期”很短,还当选为平台的“精选官”

形成全链条闭环治理

不难发现,面对AI批量生成的虚假社会事件帖子,如何审核相关内容、处置违规账号,已经成为网络治理的现实考题。

补齐文本类AI生成技术治理短板是筑牢治理防线的核心。平台应将AI内容甄别纳入发帖前置审核流程,对判定为AI生成的内容强制添加提示标识,告别依靠发帖者主动标注的被动治理模式。

强化算法责任,改变唯流量导向也很必要。对于爆料类、社会悲剧类帖子,算法应当增加审慎分发机制。当帖子没有权威信源支撑,仅凭网友口述,即便是热度走高,也应当降低推荐权重,避免算法把虚构故事大规模推送给全网用户。

平台对已经出现的“真实地名+社会悲剧爆料”类造假模板,不妨建立特征库,对高嫌疑帖子进行人工复核。这既能从源头管住虚假文本,还能提高平台对对应账号的管理效率,及时处置问题账号。

对查实批量发布虚假信息的账号,要对存量内容进行处置。如果帖子已经被核实为虚假信息,应当对涉谣内容采取下架、打上显著辟谣标签等处置方式,不能原文原样保留,任由不知情的新用户继续阅读转发。

此外,针对违规账号被处置后、运营者注册新账号继续造谣的“换号重生”乱象,平台需完善主体黑名单机制,关联违规主体的设备、IP信息,对其新开账号提高审核门槛;对多次违规、恶意牟利的账号,直接永久封禁。

最后,普通网民要提升媒介素养,练就识别AI生成的“火眼金睛”。 AI生成的社会故事帖虽然仿真度极高,但仍存在明显破绽:内容仅有单一叙事,无官方通报、媒体报道、权威求证等交叉核验线索。通常,越是情节耸人听闻、冲突强烈、容易激发情绪的帖子,越要多一份审慎。

网友若遇到存疑内容时,也可通过官方辟谣平台交叉核验,检索关键词查询相关辟谣信息等,切勿盲目转发扩散未经核实的信息。发现疑似虚假内容,也可通过平台举报渠道提交线索,共同净化网络空间。

题图来源:AI生成

微信编辑:何夕

还原事实,洞悉真相。

欢迎关注,留言举报!

除了辟谣,这里还关注网络热点,及时回应网友关切,追踪事件进展。