浙江余姚法院审结一起利用生成式AI制作淫秽物品牟利案，6名被告人全部被判有期徒刑，这起案件给所有AI从业者敲响法律警钟。

案件详情

主犯郑某曾是游戏大厂AI程序员。2024年7月，他看到境外AI色情聊天机器人后，萌生开发同类软件牟利的想法，拉拢前同事、网友共6人组建团队。

2025年1月，这套AI模型在境外平台

打开网易新闻 查看精彩图片

上线。团队通过提示词工程对基础大模型“越狱”，刻意突破模型自带的安全过滤限制。

用户充值付费后，可以选择AI角色进行色情聊天，消耗积分还能生成静态、动态淫秽图片。团队开通虚拟币、第四方支付等渠道收款，隐蔽牟利。

运营期间，该AI累计生成静态图片37万余张、动态图6000多张。经鉴定，抽检样本中有上万张图片属于淫秽物品，涉案充值金额折合人民币约17万元。2025年7月警方发现线索，9月6名团伙成员全部落网。

法院判决与核心认定

法院审理认定，6人以牟利为目的，主动改造AI模型，将通用AI工具变成专门生产淫秽内容的犯罪工具，构成制作淫秽物品牟利罪，情节严重。

分别判处6人有期徒刑三年一个月至三年十个月不等，并处罚金。一审宣判后，被告人均未上诉，判决现已生效。

庭审中，被告人曾辩解，是用户自己选择角色、输入指令生成内容。但法院不予采纳：整套系统、角色模板、越狱提示词，都是团队预先搭建，他们对AI输出内容拥有实质性控制权，和淫秽内容产生存在直接因果关系。不能以“是用户操作”为由免除开发者的刑事责任。

案件带来的法律警示

1. 技术不是违法的保护伞

AI只是工具，开发者如果刻意破解安全防线，主动把模型改造用于生成色情内容、以此收费牟利，就触犯刑法。普通AI大模型自带安全过滤，合法开发不能刻意“越狱”绕过风控。

2. AI从业者必须守住内容安全底线

研发、运营生成式AI产品，需要落实内容审核机制。不能设计功能专门用于产出色情、暴力等违法内容。

3. 普通用户同样有约束

即便软件是他人开发，个人大量传播AI生成的淫秽图片、聊天记录，也涉嫌传播淫秽物品违法犯罪。

AI技术飞速发展，但法律红线不会因为技术新就放宽。程序员、技术创业者一定要分清：技术可以创新，但不能用来制造、生产淫秽物品牟利。任何打着AI名义制作色情内容赚钱的行为，都将被依法追究刑责。

话题讨论：你觉得AI开发，该如何守住内容安全的底线？欢迎留言。

免责声明：本文综合中国长安网、央视公开报道整理，仅普法科普，个案判决以法院文书为准。