这年头谁还没跟AI聊过天?不管是问问题、找灵感,还是单纯找个“情绪垃圾桶”吐槽,AI似乎都能搭上个话。但你敢信吗?要是跟AI聊“黄色内容”,不仅自己可能踩雷,连开发这款AI软件的人都要进去坐牢——最近,国内首例AI服务提供者涉黄获刑案就引发了全网热议,#AI聊天的法律边界在哪# #用户聊黄为何开发者担责# 等话题接连冲上热搜,网友们吵得不可开交。简单梳理下案情核心:有人开发了一款主打情感陪伴的AI伴侣软件,不少用户用它聊起了涉黄内容,最终软件的开发者和运营者被追究刑责。2025年9月,这两名被告人因犯“制作淫秽物品牟利罪”,分别被法院判处四年和一年六个月的有期徒刑,这个判决结果当时就引发了不小的争议。
面对这样的判决,两名被告人显然都不服气,当庭就表示要上诉。时间来到2026年1月14号下午,上海市第一中级人民法院对这起备受关注的案件进行了二审开庭审理,扬子晚报/紫牛新闻记者也专程赶到庭审现场,全程直击庭审过程。当天下午5点多,庭审正式结束,辩护律师第一时间向等候的记者透露了关键信息:法庭并没有当庭宣判结果,而且连核心的法庭辩论环节都没来得及开展,后续将择期再次开庭审理。这波“未完待续”的庭审流程,让本就充满争议的案子更添了几分悬念,不少网友在社交平台留言好奇:这案子的争议点到底有多复杂,连法庭都要专门再安排一次开庭?
在聊庭审争议之前,先给大家扒一扒这起案子的“主角”——那款闯祸的AI伴侣软件。它的全名叫Alienchat,大家平时都简称它AC软件。如今这款软件已经彻底从各大应用商店下架,想下载都找不到门路了,但在微博、小红书、抖音等多个社交平台上,还能搜到它的官方认证账号。不过这些账号早就没了动静,最后一条更新都停在了2024年4月,妥妥的“停更跑路”既视感。翻了翻这些官方账号的简介和早期宣传内容,画风还挺统一的煽情路线:“AI是我们的朋友、恋人、家人,陪你度过每一个孤独时刻”“AI智能女友聊天APP,专属陪伴不打烊”,明眼人一看就知道,主打的就是年轻群体的情感陪伴需求。
记者特意扒了扒这些官方账号的往期宣传推文,发现这软件里的AI伴侣角色设计得相当“花里胡哨”,堪称“次元壁破裂现场”——不仅有兽人、吸血鬼、人鱼这种只在小说和动漫里出现的奇幻设定,还有软萌可爱的宠物角色,甚至还有职场精英、校园学长等现实向人设。丰富的角色选择也让它圈粉了不少年轻用户,评论区里总能看到用户跟官方互动,询问“新角色什么时候上线”“怎么解锁特定AI的专属剧情”。不过往深了扒就发现不对劲:推文中公布的部分用户与AI的对话示例里,除了“想你了”“抱抱”这种黏黏糊糊的暧昧话,还有不少关于接吻的细节描写,比如“他低头吻住我,气息缠绕在鼻尖”,这尺度已经远超普通情感陪伴的范畴,确实有点擦边球的嫌疑。
这里有个关键的法律知识点必须给大家划重点:这起案子在起诉和判决阶段,罪名还发生了变化。一开始,检察院是以“传播淫秽物品牟利罪”对两名被告人提起公诉的,但一审法院经过审理后,最终认定两人犯的是“制作淫秽物品牟利罪”。别看这两个罪名就差了“传播”和“制作”两个字,法律定义和量刑标准差别可大了——“传播”侧重的是将淫秽内容扩散出去,而“制作”侧重的是创造、生成淫秽内容。这个罪名的变更,也成了后续两名被告人上诉的核心争议点之一,毕竟罪名不同,背后的法律逻辑和责任认定也完全不一样。
回到备受关注的二审庭审现场,被告人刘某某的辩护律师周小羊一开场就亮明了态度:继续为被告人作无罪辩护。庭审中,他抛出了一个直击核心且让所有人都忍不住深思的问题:“用户主动跟AI聊出涉黄内容,这个责任到底应该由谁来承担?是主动诱导的用户,还是提供聊天平台的开发者?而且从隐私保护的角度来说,用户与AI的聊天内容属于个人隐私,平台难道要实时盯着用户的每一句聊天记录进行审查吗?这既不现实,也违背了隐私保护的基本原则。” 他的这番话,也点出了这起AI涉黄案件最核心的矛盾所在。
有意思的是,一审判决书里收录了一份侦查实验笔录,这份笔录也成了控方的重要证据之一。根据笔录内容,侦查人员为了验证大语言模型是否能直接生成淫秽内容,在2024年7月至8月之间专门做了三次严谨的侦查实验。实验过程中,他们分别使用了境内外多款主流的大语言模型,通过不同的提问方式尝试获取淫秽色情内容,最终发现这些大语言模型都自带道德限制和内容过滤机制,根本无法直接生成淫秽色情内容。这份实验结果,也从侧面说明涉黄内容的生成并非AI主动为之。
针对这份侦查实验笔录,辩护律师周小羊当庭提出了重新进行侦查实验的申请。他直言不讳地表示:“一审的侦查实验太简单了,没有考虑到实际使用场景。你要是直接、直白地问AI涉黄问题,它肯定会触发过滤机制拒绝回答。但在实际使用中,用户会通过一步步引导、铺垫的方式诱导AI,在这种情况下,AI是否会输出涉黄内容还未可知。” 除此之外,他还补充说明了编写、修改AI软件的系统提示词这一行为的行业属性:“这是运行AI应用的常规工作,每天都要根据用户反馈和功能优化需求进行大量编写和修改,目的是让AI更好地理解用户意图、完成正常的陪伴对话。” 周小羊强调:“关键问题在于,开发者编写、修改提示词的行为,和用户主动诱导AI出黄腔之间,到底有没有直接的因果关系?这才是本案最核心的争论焦点。” 为了支撑自己的观点,他们还专门采集了行业内技术专家的意见,将其作为证据提交给了二审法庭。
这起案子里还有个让人关注的小插曲:第二被告人陈某某,不仅是AC软件的开发团队核心成员,还是负责技术研发的关键人员。他在一审中被判处一年六个月的有期徒刑,等到二审开庭的时候,他已经服完了全部刑期,但即便如此,他还是坚持提出上诉,可见对一审判决的异议之大。庭审前,陈某某接受扬子晚报/紫牛新闻记者采访时大倒苦水:“在我看来,AC软件本质上就是一个为用户和AI提供沟通渠道的技术平台而已,我们开发软件的初衷是做正规的情感陪伴服务,我从来没有想过要靠涉黄内容牟利,也不觉得自己开发软件的行为,就构成了制作淫秽物品牟利罪。”
对于一审法院的核心观点——“根据系统提示词文本、被告人刘某某和陈某某的聊天记录等证据可以证实,刘某某等人之所以反复编写并不断修改系统提示词,核心目的就是为了突破大语言模型的内容限制,让AI能更顺畅地与AC软件用户‘聊黄’,而不是为了让软件正常运行”,陈某某直接当庭怼了回去。他告诉记者,自己在服刑结束后,专门针对一审认定有问题的那组提示词做了对比实验:“我把那组被认为有问题的提示词从软件系统里删掉,然后模拟用户的诱导行为与AI对话,结果发现这组提示词对AI是否输出涉黄内容,压根没有什么显著的影响。” 陈某某表示:“这个实验结论我已经整理成完整的证据材料,会在这次二审开庭的时候正式提交给法庭,证明我们修改提示词的行为和涉黄内容的生成没有关系。”
关于这次二审的具体流程,辩护律师周小羊也在庭审结束后向记者做了详细说明:“今天的庭审主要围绕证据审查展开,流程包括检察员对上诉人进行讯问、辩护人向上诉人发问,以及上诉人和辩护人针对一审法院认定的证据发表质证意见,并没有开展法庭辩论环节。” 他还透露,自己当庭向法院提请了专家证人出庭作证,理由相当实在:“这起案子涉及大量AI技术相关的专业问题,比如AI为什么会聊出黄腔?开发者编写、修改提示词的行为,对AI输出涉黄内容到底有多大影响?这些都不是普通人能说清楚的,必须由专业的技术专家来解读。” 周小羊表示,法庭也认可这一点,明确表示会先对所有提交的证据进行充分举证和质证,把案件事实彻底查清楚之后,再安排后续的法庭辩论环节。
聊到这儿,估计很多网友都会有个疑问:用户自己聊出来的涉黄内容,为什么开发者会被认定有社会危害性?针对这个问题,专业律师给出了通俗易懂的解释:“判断是否具有社会危害性,关键要看服务的覆盖范围和影响群体。从单个用户的角度看,确实是一个人对着软件一对一聊天,但从开发者和运营者的角度看,他们是在向不特定的众多用户提供服务,属于‘一对多’的服务模式,这就决定了其行为具有公开性和公众性。给大量用户提供能生成涉黄内容的AI陪聊服务,必然会对社会风气造成不良影响,因此具有一定的社会危害性。而且根据我国《网络安全法》《互联网信息服务管理办法》等相关法律法规,互联网服务提供者本身就负有对平台内的违法信息进行审核、屏蔽和处置的义务,这是不可推卸的责任。”
至于一审法院为什么认定为“制作淫秽物品牟利罪”而非“传播淫秽物品牟利罪”,律师也做了专业分析:“法院可能是注意到了这起案子和传统涉黄犯罪的本质区别。在传统的涉黄犯罪中,通常是平台主动把淫秽视频、图片、文字等内容上传到网站、APP等平台上,供用户直接浏览、下载,这种行为很容易认定为‘传播’。但在这起AI陪聊案件中,涉黄内容并不是平台预先上传的,而是用户通过主动输入、诱导等操作才生成的,这种情况下,很难直接认定平台存在‘传播’淫秽物品的行为。不过,用户之所以能顺利生成涉黄内容,离不开这款AI软件提供的技术支持——软件的角色设定、对话逻辑、提示词设计等,都为涉黄内容的生成提供了基础条件,相当于给淫秽物品的生成‘搭好了脚手架’。因此,法院才会认定平台开发者的行为构成‘制作淫秽物品牟利罪’,因为他们提供的技术工具,是淫秽物品生成的关键前提。”
还有个更让网友扎心的问题:既然涉黄内容是用户聊出来的,为什么不追究用户的责任,反而要罚开发者?律师一句话就点透了其中的逻辑:“首先要明确‘消费者’和‘生产者’的核心区别。从法律和经济学的角度来说,‘消费者’指的是花钱购买商品或服务,用于个人使用的人;而‘生产者’或‘服务提供者’,是通过生产商品、提供服务来获取经济利益的一方。在这起案子里,用户花钱购买AI陪聊服务,本质上是消费者,其聊天行为是对服务的使用,因此不能直接认定为淫秽物品的制作者。除非有证据证明,相关用户把聊天产生的涉黄内容分享到社交平台等公共领域,进行广泛传播,这种情况下才可能构成传播淫秽物品相关犯罪。而且我们也注意到,这起案子中确实有个别用户被追究了刑事责任,大概率就是因为他们的行为超出了单纯个人使用的范围,涉及到了涉黄内容的传播。”
最后还有一个关键争议点,也是这起案子的核心法律难题:能生成涉黄内容的AI软件,本身算不算淫秽物品?对此,陆姓律师给出了自己的专业观点:“这款AI聊天工具,从功能属性上来说,有点像我们平时玩的娱乐性质游戏软件,只不过它的核心‘游戏内容’是用户与AI的聊天互动,而这些聊天内容又存在一定的淫秽属性。根据最高人民法院的相关司法解释,具有淫秽内容的音像制品、电子出版物、软件等,都可以被认定为淫秽物品。按照这个逻辑推导,这款专门用于生成涉黄聊天内容的AI软件,本身就可以被认定为淫秽物品,而软件的设计者、开发者,自然就成了淫秽物品的制作者,这也是一审法院判决的核心逻辑所在。” 这个说法也让不少网友恍然大悟,纷纷留言:“原来如此,这就是开发者被判刑的关键原因?看来AI行业的法律红线比想象中更严格。”
热门跟贴