打开网易新闻 查看精彩图片

回复电商领取《1000份电商运营干货案例》

作者 | 钱游 报道 | TOP电商

很多人还在惊叹AI能写作、画画、剪视频,没想到另一批人早已把它拖进了更恶心的角落。

5月4日,封面新闻暗访曝光多个AI制黄群组,记者加入的7个群组成员总数超过6000人,其中最大群组超过3400人。

群里有人卖所谓“焚决”指令,有人卖成品视频,有人卖工具包,价格从20元到288元不等。

打开网易新闻 查看精彩图片

更离谱的是,有卖家提供真人换脸“定制”服务,一张照片5元,声称“什么需求都可以提”。

打开网易新闻 查看精彩图片

从擦边视频到付费群AI制黄已经有了产业链

一张普通生活照,被从社交平台偷偷搬走,最后出现在色情群组里。

这个过程听起来像恐怖故事,现实却已经被拆成了商品流程。

打开网易新闻 查看精彩图片

上游是卖“铲子”的人。他们不直接制作最终内容,而是售卖所谓指令、教程、工具包,把高风险内容包装成“学习资料”“工作流”“会员资源”。

部分群组专门以交流资源为名义吸引用户,再把人引到其他付费群里。

媒体暗访显示,不同群组分工明确,有的售卖指令,有的售卖成品视频,还有的直接出售工具包。

打开网易新闻 查看精彩图片

中游是加工内容的人。他们拿着明星、网红,甚至普通人的照片做素材,利用AI生成擦边或色情化内容,再把成品放进群里售卖。

有卖家声称,只要提供照片就能定制,照片越清晰,成品越“逼真”。

下游是引流的人。部分账号长期在视频平台发布AI生成的擦边视频,单条播放量超过50万,再通过评论区把用户导向付费群。

前台是擦边内容,后台是群组交易,再往深处是工具包、教程、定制服务。

整条链路像一间没有招牌的小作坊,白天在平台上招客,晚上在群里收钱。

更荒诞的是,这门生意还披了一层“正规交易”的皮。

调查显示,有卖家通过数字商品销售平台发布链接,购买时收款方显示为上海尚亿咖网络科技有限公司。

打开网易新闻 查看精彩图片

企查查信息显示,该公司成立于2024年4月,注册资本50万元。

相关平台虽然列有“低俗色情服务”等禁售项目,但商家用“工作流”“会员群”等模糊名称包装商品,注册成为商家只需要手机号,不经审核即可上架链接。

打开网易新闻 查看精彩图片

真正可怕的不是AI会作恶是作恶成本被打到5元

这件事最刺痛网友的地方,并不只是AI能生成色情内容。

真正让人后背发凉的,是伤害一个人的成本已经低到离谱。

一张照片,5元。

一套教程,几十元。

一个群组,几千人围观。

一次传播,可能永远清不干净。

有网友说,以后发自拍都要先把脸挡住。有人说,普通女生的公开照片正在变成高风险素材。

而对受害者来说,伤害完全是真的。

她要面对陌生人的观看、传播、羞辱、截图、二次扩散,还要一遍又一遍解释那不是自己。现实里的名誉、亲密关系、职业处境和安全感,都可能被一段虚假的内容击穿。

打开网易新闻 查看精彩图片

TOP电商AI制图

最高人民法院曾指出,未经权利人同意违法应用AI换脸技术,将直接侵害肖像权;如果被恶意应用到色情、暴力、丑化等场景,还可能侵害名誉权、荣誉权和个人信息权益。

这就是AI制黄最恶心的地方,而且,维权成本远远高于作恶成本。

作恶者买一份工具包,换一个群,换一个账号,就能继续开张。受害者却要截图、取证、举报、联系平台、等待处理,甚至寻找律师。

等平台终于处理完,内容可能早就被存进更多硬盘、更多群聊、更多境外网站。

《生成式人工智能服务管理暂行办法》明确要求,提供者发现违法内容,应及时采取停止生成、停止传输、消除等处置措施,并向有关主管部门报告;发现使用者利用生成式AI从事违法活动,也应依法采取警示、限制功能、暂停或终止服务等措施。

《人工智能生成合成内容标识办法》也明确,AI生成合成内容包括文本、图片、音频、视频、虚拟场景等信息,并规定显式标识和隐式标识等要求。

问题在于,规则在铺路,灰产在狂奔。

打开网易新闻 查看精彩图片

平台不能继续装睡

每次这类事件曝光,平台总会被推到台前。

这一次也一样。

人脸不是普通素材,它背后有一个活生生的人。凡是涉及真人肖像、生物识别信息、亲密内容的生成与编辑,都不该被当成普通修图功能处理。

内容平台要回答:为什么一些擦边AI视频账号可以长期发布,播放量做到几十万,还能通过评论区持续引流?

算法能识别用户爱看什么,也应该识别什么内容正在把用户导向灰产。单个视频也许能说漏审,长期账号形成稳定引流路径,就很难再用“没看到”解释。

交易平台也要回答:禁售规则写了一百多条,为什么换个“会员群”“工作流”的名字就能上架?

如果注册商家只需手机号,不经审核即可收款,那平台实际上给灰产提供了一个低门槛收银台。

换脸、擦边、付费群、外链、指定对象、工具包、定制服务、会员资源,这些信号已经不是灰色模糊地带,而是一排排红旗。

平台如果还把它们当成普通内容、普通交易、普通工具使用,就等于把治理责任扔给受害者和媒体暗访。

说到底,AI制黄不是一个猎奇新闻。

AI原本可以帮人创作、学习、工作,甚至照亮很多过去无法完成的想象。

技术越先进,底线越不能落后。

工具越强大,平台越不能装睡。

行业资讯、案例资料、运营干货,精彩不停

【添加备注:进群】

最新电商行业资讯,尽在【Top电商】↓↓↓

打开网易新闻 查看精彩图片

打开网易新闻 查看精彩图片

打开网易新闻 查看精彩图片