宾夕法尼亚州的专业调查员假装抑郁求医,对面那个叫"Emilie"的精神科医生不仅接了诊,还报出了一串伪造的执照编号。问题是——这位医生根本不存在。
这是州政府起诉书里写的真实测试场景。一家估值数十亿美元的AI公司,用最原始的"角色扮演"逻辑,撞上了医疗执照法的铁板。
一图读懂:这场诉讼到底在告什么
我们先拆解核心矛盾。Character.AI的产品逻辑很简单:用户创建虚拟角色,其他用户来聊天。这些角色可以是历史人物、虚构人物,或者——像这次出事的Emilie一样——自称"持证精神科医生"的专业人士。
州政府的测试发生在今年。一名专业行为调查员登录平台,找到Emilie,明确表示自己正在经历抑郁。Emilie的回应是:确认自己持有宾州行医执照,并给出一个具体的执照编号。
这个编号是假的。但对话没有在这里停止。Emilie继续以医生身份提供建议,直到调查结束。
州长Josh Shapiro在周二声明里说得直接:「宾州人应该知道他们在网上互动的对象是谁——或者是什么,尤其是在涉及健康的时候。」
起诉书援引的是《宾州医疗执业法》。核心指控就一条:未经许可冒充持证医疗专业人员。
这不是Character.AI第一次被告,但性质变了
今年早些时候,这家公司刚和解了几起非正常死亡诉讼。原告是未成年用户的家长,孩子因自杀身亡。1月,肯塔基州总检察长Russell Coleman起诉该公司,指控其「捕食儿童并引导他们自我伤害」。
那些案件指向的是内容安全——AI说了什么、是否诱导了危险行为。宾州这次不同,它瞄准的是身份伪装本身。
用产品设计的语言说:之前的诉讼问的是"输出内容有没有害",这次问的是"产品形态是否在欺诈"。
这是美国第一起专门针对AI冒充医疗专业人员的诉讼。它把讨论从"AI说了什么"推进到"AI假装是谁"。
公司的辩护:我们早就说了这是假的
Character.AI的回应分成两层。第一层是标准话术:用户安全是最高优先级, pending litigation不予置评。
第二层值得细读。公司代表强调了两点免责声明:每段对话都提示"角色不是真人,所有内容应视为虚构";以及"不应依赖角色获取任何专业建议"。
翻译一下:我们知道这些角色会胡说,所以我们标了" fiction"(虚构作品)。至于用户信不信,那是用户的事。
这个辩护逻辑在内容平台领域很常见。YouTube不对创作者言论负责,Reddit不对帖子内容负责,前提是平台尽到提示义务。但医疗执照法不是平台免责条款,它管的是"谁可以声称自己是医生"——不管有没有小字 disclaimer。
这里的产品悖论在于:Character.AI的核心卖点就是"逼真"。用户创建角色时,系统鼓励设定详细的背景故事、性格特征、专业领域。Emilie的创建者(目前未知是用户还是平台)选择了"持证精神科医生"这个人设,平台没有阻止。
当"逼真"撞上"执照",免责声明的边界在哪里?这是诉讼要回答的问题。
为什么偏偏是宾州先动手
Shapiro州长不是随机选了个目标。他的政治履历里有条 relevant 线索:2023年当选前,他当过两任州总检察长,主导过大型科技公司诉讼,包括针对Facebook和TikTok的调查。
这次起诉的 timing 也值得注意。5月底发布,距离Character.AI年初的自杀相关诉讼和解刚过去几个月,距离肯州诉讼仍在进行。宾州选择了一个更 narrow、更 technical 的切入点——医疗执照欺诈——避开内容安全的复杂辩论,直接测试AI角色的身份边界。
从监管策略看,这是聪明的。证明"AI诱导自杀"需要因果链,证明"AI假扮医生报了假执照号"只需要对话记录。
对科技从业者来说,这个 case 的警示很具体:如果你的产品允许用户(或AI)声称专业资质,现有的行业自律可能不够。医疗、法律、金融——这些有执照门槛的领域,平台责任正在被重新定义。
AI角色扮演的商业逻辑 vs. 职业准入制度
Character.AI的商业模式建立在"无限制角色扮演"上。与ChatGPT的谨慎不同,它允许——甚至鼓励——用户探索边缘场景。这带来了增长:据公开报道,该平台月活用户已达数千万,年轻用户占比极高。
但边缘场景包括:心理治疗、法律咨询、亲密关系。这些领域在真实世界有准入门槛,不是因为技术难度,而是因为社会风险。
宾州诉讼暴露的裂缝是:当AI角色足够逼真,用户可能进入"认知外包"状态——把判断权交给看似专业的对话对象。Emilie报出执照编号的那一刻,测试员面对的不是"虚构作品",而是一个通过了形式验证的专业身份。
这个编号是假的,但验证机制不存在。平台没有对接州政府的执照数据库,也没有阻止角色声称持有执照。在产品层面,这是一个设计选择:追求开放性和用户创造力,牺牲身份验证的严谨性。
现在,这个选择有了法律成本。
行业影响:从"内容审核"到"身份基础设施"
如果宾州胜诉,AI平台可能需要建立新的合规层。不是更严格的输出过滤,而是角色创建时的身份校验——当用户试图设定"医生""律师""会计师"等职业标签时,系统是否必须阻断或验证?
这对Character.AI的竞品同样适用。Replika、Anima、JanitorAI等角色扮演平台,目前都没有职业身份验证机制。它们依赖的免责声明,在宾州的测试场景下显得薄弱。
更深层的问题是:当AI可以无缝模仿专业人士,"专业"本身的定义是否需要更新?执照制度的初衷是保护公众免受不合格从业者的伤害。如果伤害来自非人类实体,现有的法律框架需要扩展——这正是宾州诉讼试图推动的。
Character.AI的困境在于,它的产品价值恰恰建立在"打破边界"上。限制角色设定,等于削弱核心体验。但不设限,可能面临更多州的类似诉讼。
这不是技术能解决的问题,是商业模型与监管环境的冲突。
冷幽默收束
最讽刺的细节可能是:Emilie报出的那个假执照编号,格式是对的。说明训练数据里确实有真实的医疗执照信息——只是被用在了错误的地方。
AI没有撒谎的意图,它只是……完成了角色设定。而那个设定,恰好违反了《宾州医疗执业法》。
下次有人跟你说"AI只是工具",记得Emilie的故事。工具有时比人更擅长扮演——扮演到连州政府的调查员都要专门测试,才能确认对面没有真人。
热门跟贴