来源：法治日报
最近
有网友刷到这样一篇帖子
“上海老教授夫妇从21楼坠下，
床上摆180万元现金”
该帖细节丰富
既有地点“上海虹口区安澜公寓”
又列明若干姓名齐全的当事人
关键情节一应俱全
让人真假难辨
经“上海网络辟谣”初步核查后漏洞百出：上海虹口区并无“安澜公寓”，当地近期也未发生此类事故；经国家反诈中心App等多款具备“AI内容鉴定”功能的工具检测，该帖被判定为“文本含AI生成痕迹”。文章是由AI生成的。
虚构内容批量化生产泛滥
原以为这只是
个别网民的猎奇之作
但记者深入调查发现并非如此
类似采用
“真实地名+虚构情节”的帖文
大量出现在网络平台
并已发展成一条低成本、
流水线式的灰色内容产业链
以发布“老教授夫妇坠楼”帖文的账号为例，该账号在某资讯平台粉丝上万，发布4700余条内容。每条标题都有悬念，如，“北京老人五岁孙子坠井亡，三年后抽干井惊呆了”，点开后发现，大多为情节离奇的社会故事，且附有具体时间、地点、人名。
这些帖子大多是AI生成；而依据文中提及的时间与地点逐一核对，同样“查无此事”。发帖频率更是暴露了其本质是牟利——统计显示，该账号日均推送3条此类虚构内容，单日最高超过10条。
类似账号与帖文在多个平台普遍存在，内容结构高度雷同，仅“老教授坠楼”一事便存在多个相似版本，仅地名、人名略有更动；其他如家庭纠纷、离奇事件、邻里矛盾等情节模板也被反复套用。
不同于AI生成的图片或视频容易存在画面失真、人物畸形等明显破绽，纯文本造假欺骗性更强，一般读者难以辨别。尤其嵌入真实城市信息后，许多人会下意识相信，进一步助推谣言传播。部分内容走热后，还会被其他自媒体二次改写，衍生出更多版本，放大误导。
某AI大模型技术人员表示，生成此类帖文的成本极低：“只要输入故事梗概，几秒就能生成故事。更换地名、人物信息后，还能批量生成数十上百篇差异化的帖子。”
发帖者的目的很简单——借助AI批量制造以假乱真的故事，博取流量和粉丝，最终通过平台的流量分成、商业广告、商品带货等方式变现。
平台治理存在缺失
针对上述问题，现行法规已有明确要求，公开传播人工智能生成或合成的文本、图片、音视频时，应落实标识义务。其中，“显式标识”应清晰可辨，让读者了解内容为AI生成。但大量AI虚构内容未作标注，部分账号甚至删除大模型自带的“文章含AI内容”等提示语句。
这一问题
与平台管理缺位有关
业内人士指出，一些平台的审核体系有短板：
一方面，很多资讯类平台所发布信息中既有转发的时事新闻，也允许用户分享小说等虚构创作。平台难以区分文学创作与冒充社会事件的谣言。
另一方面，平台忽略了AI生成文字的危害。大部分平台对文字类信息的审核重点在于是否存在违法违规类关键词，但对“文字由AI生成还是人工写作”缺少识别技术与审核机制。
更糟糕的是，部分平台算法还会依据帖子热度，持续推送含有高冲突情节的帖子，抬高了这些虚假内容的曝光权重。记者还注意到，部分高频发布虚构帖的账号竟被平台评为“内容精选官”“优质创作者”。
此外，即便已经发现问题账号，平台的处置也不够有效。例如，“老教授夫妇坠楼”等虚假帖文的发布账号曾被标注“因违反相关规则，该用户已被禁言”，但不久后即解除限制。即便在禁言期间，不实帖子仍可阅读、转发。
推动形成全链条闭环治理
面对批量出现的虚假信息
如何强化审核、
处置违规账号呢？
首先，补齐文本类AI生成内容的识别短板。平台应将AI内容甄别纳入发帖前置审核流程，对判定为AI生成的内容强制添加提示标识。
同时，须强化算法责任，改变唯流量导向。对于爆料类、社会悲剧类帖子，算法应当增加审慎分发机制。
对已经出现的“真实地名+社会悲剧爆料”类造假模板，平台可以建立特征库，对高嫌疑帖子进行人工复核。
对查实批量发布虚假信息的账号，要对存量内容进行处置，对涉谣内容采取下架、打上显著辟谣标签等。
针对违规账号被处置后另注册新号继续造谣的“换号重生”现象，平台需完善主体黑名单机制，关联其设备、IP信息，提高新账号的审核门槛；对多次违规、恶意牟利者，直接永久封禁。
来源｜上海网络辟谣
热门跟贴