和AI女友搞黄色，APP开发者为何被判刑

打开网易新闻 查看更多视频

21世纪经济报道记者 章驰 实习生 邓凯

“80%的用户都在擦边、搞黄色。”某明星AI公司的产品经理曾经这样描述恋爱向角色扮演产品，也就是俗称的AI陪伴。

一不当心这类APP的老板就会直接喜提有期徒刑四年，罚金几百万，这就是国内首例AI陪伴涉黄案。

这款叫AlienChat的AI陪伴软件，用户能跟虚拟角色聊日常、处“赛博对象”。因聊天够灵动、限制少而爆火，在超过11万的注册用户里，不少人付费和AI聊赤裸裸的色情内容。虽然是用户与AI之间的私密互动，但因为用户付费成为了商品，所以第一次被直接界定为淫秽物品。平台作为“制作者”承担刑事责任。

可是AI和用户私密聊黄，关平台什么事？

关键问题出在平台用了未备案的境外大模型，还加了"越狱提示词"，让AI能随便聊色情暴力内容。平台的审核工作没有做到位，没有给用户和AI的聊天内容设置限制。法院认为，“平台的色情防范措施停留在表面。”

之前Glow、筑梦岛等AI陪伴产品都曾因涉黄下架。一边是用户想要自然的聊天体验，一边是合规红线不能碰，如何看待AI的产物？这中间的尺度到底该如何把握？AI从业者也有更深的担忧，用户和平台责任，到底该怎么划分？

在这起案件中，平台（被告）公司AlienChat不认可一审判决结果，提出上诉，本周二审开庭。