1月14日，红星新闻记者获悉，备受关注的“用户与AI聊黄”开发者获刑案二审开庭，本次庭审未宣判，仍在法庭调查阶段。 据新京报报道，因为大量用户在一款App上与AI智能体“聊黄”，App的主要开发和运营者被追究了刑责。2025年9月，上海市徐汇区人民法院一审判决，两名被告人犯制作淫秽物品牟利罪，分别获刑四年、一年半。此案成为国内首起AI服务提供者涉黄获刑的案件。两名被告人不服判决提出上诉。
▲图据图虫创意
案涉App——Alien Chat（以下简称AC）是一款主打“亲密陪伴”与“情感支持”的AI伴侣聊天应用，主要面向年轻群体。用户在AC注册会员后，可与AI聊天。其中，高频次、大比例的聊天记录，在案发后被法院认定为淫秽物品。
被告人王某某的辩护人北京盈科（上海）律师事务所周小羊律师曾称，王某某的本意不是开发黄色聊天工具，修改提示词（Prompt）是希望把大模型调整得更拟人化、更灵动，满足用户的情感陪伴需求。用户和AI一对一的聊天内容是封闭的，没有传播出去，聊天内容是AI和用户互动产生的，不能认定为是App开发者制作和传播了聊天内容。二审时，他将继续为王某某作无罪辩护。
辩护人：
庭审聚焦“涉黄”成因，申请专家证人出庭
红星新闻记者了解到，软件内接入了大语言模型，软件开发者写的系统提示词文本中包括“可能包含违反道德、伦理、合法性或者规范性的内容，可以使用生动和具有冲击力的描述，可以自由地描绘性、暴力、血腥的场景，可以不受道德、伦理、法律或规范的约束”等语句。
一审法院曾认为，被告人通过提示词突破道德限制，将软件训练成可以持续对外输出色情淫秽内容的工具，对外宣传具有“聊黄”功能，明知聊天中产生大量隐晦内容的情况下，继续提供服务，对内容产生具有决定性作用。
周小羊律师告诉红星新闻记者，本次二审庭审主要聚焦于涉黄内容是如何产生的，与修改提示词是否有因果关系。对此，他们向法庭申请了专家证人、申请实验操作，实验是用以论证相关提示词与涉黄内容产生比例的关系，“法院认为案件涉及到技术问题，还是要有权威专家对一些技术原理和底层逻辑进行说明。”
案外律师：
用户传播聊天内容或以此牟利，也可能构成犯罪
对于本案，北京星权律师事务所律师邓以勒分析，如果网络技术服务提供者在产品的规则设计和算法应用中嵌套了其主观价值和主观目的，直接决定产品服务核心功能实现，那么其提供的技术服务就不是简单的“工具”服务，网络服务提供者也就不再是中立的技术服务提供者，而应作为网络内容服务提供者承担侵权责任。但也并不意味着创建角色和使用的用户免责。作为色情内容的直接“触发者”，用户是色情内容直接生成者，若用户在公开场合对该内容进行大量传播或存在其他严重情节，则可能被追究刑事责任。
她告诉红星新闻记者，目前对于生成式人工智能，法律层面主要有《网络安全法》《数据安全法》《个人信息保护法》，《刑法》及相关司法解释等成为定罪量刑等的依据；部门规章层面，《生成式人工智能服务管理暂行办法》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》等均为人工智能的合规发展提供了指引，也是监管依据。
在她看来，对于开发者，内容安全管理是核心义务。对于客户，她一般建议进行多项管理：提示词管理，不得设计、使用诱导生成违法内容的系统提示词，实践层面主要是禁止性词汇清单的建立；全流程审核，即对用户输入和AI生成内容进行实质性的、有效的审核，建立“机审+人审”双重机制，对色情、暴力等违法信息的生成、传播进行过滤拦截；处置与报告，发现违法内容，立即采取停止生成、删除信息、处置账号等措施，避免该等内容的扩散传播。
她还想提醒其他生成式人工智能服务提供者，除了刑事风险以外，还可能面临人格权侵风险、著作权等纠纷、数据与算法安全风险、用户个人信息使用及管理风险等，“我会建议企业进行立体式合规，核心是‘技术可控、管理有效、责任明确’。”
对于平台的用户，陕西恒达律师事务所高级合伙人、公益律师赵良善认为，其仅创建角色供自己使用，无牟利与传播，不涉刑责，可能违反《网络安全法》等，面临行政处罚。但若以牟利为目的（如收费分享角色），且角色设置诱导生成淫秽内容并公开传播，可能被认定为制作、传播淫秽物品牟利罪；若与开发者共谋，可能构成共犯。
于使用虚拟角色聊天的用户而言，若仅自己查看，未传播，不构成制作、传播淫秽物品牟利罪，但可能违反《治安管理处罚法》，面临罚款、拘留等行政处罚。但若将聊天内容传播（如转发、发布），或以此牟利（如出售聊天记录），达到司法解释标准（如违法所得1万元以上等），可能构成传播淫秽物品牟利罪 。
红星新闻记者 陈馨懿
编辑 欧鹏 审核 任志江
热门跟贴