本文作者——叶斑｜安永（中国）高级顾问，波士顿大学经济学硕士
近日，全国首例涉及“AI幻觉”的审判给出了回答。2025年6月，梁某在使用生成式人工智能查询高校报考信息时，得到了明显错误的回答。在被指出错误之后，AI不仅没有及时纠正，反而信誓旦旦地回应：“如果生成内容有误，我将赔偿你10万元。”之后，梁某将从高校官网查询到的正确信息提供给了AI，后者这才承认其生成了不准确信息，并建议梁某到杭州互联网法院起诉索赔。梁某遂提起诉讼，要求AI运营者给予9999元的赔偿。近日，杭州互联网法院作出一审判决，驳回了原告梁某的诉讼请求。原告、被告均未上诉。
抛开AI在许诺赔偿时的“慷慨”和“让人类告自己”的荒诞，这起国内首例围绕“AI幻觉”的判例，在若干年后依然会被人们反复提起。因为它标志着司法第一次对AI责任边界作出裁定，初步回应了一个亟待解决的问题：当人工智能犯了错，后果要由谁来承担？
一、AI不能承受之重
在此次判决中，法院首先明确了一点：人工智能不具备民事主体资格，不能独立作出意思表示，也不能被视为平台的代理人。因此，AI在对话中生成的“赔偿承诺”，不能当然地理解为平台的真实意思，更不产生合同或承诺上的法律约束力。跳出这个具体的案件，这条观点的含义清晰而深远：不能让AI自己为错误负责，平台也不应为AI“说的话”兜底。
同时，法院并未否认AI会生成错误信息，也正视了这些错误可能给用户带来麻烦甚至损失，但它没有把“结果错误”视为侵权。判决认为，生成式人工智能属于一种“服务”，而非产品质量法意义上的“产品”，因此适用的是《民法典》的一般过错责任原则，而不是无过错的产品责任。也就是说，AI出错并不当然违法，平台是否担责，则取决于有没有履行应尽的注意义务，例如在交互界面的醒目位置提示AI生成内容的局限性。尤其是在医疗、金融等关乎人身和重大财产安全的高风险场景中，平台应当以更显著的方式对用户进行警示。
市场从这次判决中读出了一个明晰的价值取向：不因存在缺陷就扼杀新技术。虽然这让AI开发和应用企业松了一口气，但是市场仍然不免后怕——这次幸好没造成实际损失。未来万一AI真的在自动驾驶、医疗或投资之类的领域造成事故，司法还会这样宽容吗？
二、责任不确定性拖了AI应用的后腿
如果说人工智能是尖端技术的一匹黑马，权责不确定就是限制它驰骋的缰绳。一方面，AI的普及速度远超以往任何一代通用技术。中国互联网络信息中心的数据显示，截至2025年6月，我国生成式 AI 用户规模已达5.15亿人，半年内增长超过一倍，普及率约36.5%。与此同时，完成备案并上线运营的生成式AI服务已超过500款，覆盖内容创作、信息检索、办公辅助、学习辅助等多个领域。
相比之下，在最能赚钱的场景，AI的应用反而推进缓慢。智能驾驶系统在技术上已经能够应对大多数常规路况，但距离真正意义上的完全自动驾驶仍然遥远；AI在医疗影像识别、病历整理等环节已被广泛采用，却很少被允许直接参与诊疗决策；智能投顾产品层出不穷，但最多也只是“仅供参考”，并被严格限制决策权重。这看上去是技术成熟度的问题，然而一旦允许，技术突破反而是最简单的；深层的约束几乎全部来自AI权责的制度不确定性。消费者固然担心AI出错会让自己的财产甚至安全受损，企业又何尝不畏惧事故责任和集体诉讼的天价罚单？
这种恐惧并非没有依据。系统性的比较研究显示，不同主流大语言模型在多种任务中的幻觉率平均仍处在15%–30%；在复杂法律或专业查询场景中，错误率甚至可能高达50%–80%。另一项对GPT-3.5、GPT-4等模型的研究发现，即便是较新的模型，幻觉率也仍在20%–30%左右波动。即便在高度受控的专业场景中，通过严格流程和提示设计，幻觉率可以被压低至1%–2%，但这依赖于人工干涉校验，而不是模型的自发能力。
何况在自动驾驶、医疗、金融等高价值场景中，AI出错的概率就算不高，但一旦出错，后果极为严重。这是一个典型的“低概率、高损失”风险结构。即使这次判决明确平台不为AI的错误负责，但当AI事故代价高企，企业仍然能置身事外吗？结果就是AI可以用，但没人敢深用；功能可以做，但不敢完全放开。总之，人工智能的技术潜力，在制度层面被拉紧了缰绳。
三、AI责任险：地平线上的蓝海
随着AI领域的机制设计越来越落后于技术，一个问题不可避免地浮现出来：如果法律不把AI的错误转化为责任，而技术又无法彻底避免错误，那这些风险最终该由谁来吸收？
一个天然的解决方案呼之欲出——保险。
从风险形态看，AI 幻觉带来的问题，与保险制度所熟悉的对象高度相似：风险发生概率并不极高，但一旦发生，损失可能极为巨大；个体难以承受，却可以被社会分摊。
与传统保险相比，AI责任保险的一个重要差异在于，风险本身可以被更密集地模拟和量化。比起自然灾害和意外伤害，AI造成的事故可以通过对历史案例和极端情景的模拟演算，被精算模型精确捕捉到风险的概率分布，有助于设计出对保险公司和AI平台、应用企业都有利可图的保险产品。
虽然现实中尚未出现一款真正意义上的AI责任保险，但是如果时机成熟，这个领域必然成为一片新的蓝海。从保险行业整体规模看，多家行业研究报告预计，2026 年，中国保险业原保费收入将超过6.3万亿元人民币。如果在初期阶段，AI相关责任保险仅占整个市场的0.5%–1%，对应的年保费规模就可能达到300亿至600亿元人民币。
从另一角度看，中国人工智能产业本身也在高速扩张。国际咨询机构的预测显示，到2032年，中国AI市场规模有望从2025年的约280亿美元增长至2000亿美元以上，年复合增长率超过30%。如果将AI保险视为AI产业生态中的一种配套服务，假设其占产业规模的2%–5%，则对应的保险市场规模大致在400亿至700亿元人民币之间。
以上两种估算虽然粗略，但指向了同一个区间：数百亿元级别的潜在市场。
从中受益的不止是保险业和金融市场，一旦不安的缰绳放开，在需求端，用户更敢于使用AI提供的服务，从而拉动了内需；在供给侧，企业更愿意放开AI的功能边界和应用场景。在算法开发层面，也会有更快的数据积累和模型迭代。从这个意义上看，一旦AI应用的权责明确，在技术加速进步和宏观经济增长的新动能面前，保险业的直接收益或许不再是最亮眼的成果。
四、保险不是万能解药，但可能是绕不开的一步
当然，保险并不能解决所有问题。最常见的担忧是“道德风险”：有了保险，用户是否会更轻信AI，企业是否会更激进地部署功能？这些风险真实存在，也无法靠市场本身完全消除。但这并不意味着要因噎废食，而是对制度设计提出更高要求。免赔额、责任分层、合规前置条件，以及司法对高风险场景更严格的注意义务，都将是必要的配套措施。
从更长的时间尺度看，AI的发展注定伴随着错误、事故和争议。关键不在于如何消灭风险，而在于社会选择用什么方式去承接风险。
眼下这起 “AI幻觉”侵权案，并没有给出终极答案，而是开始提出了问题：谁来替新技术的风险兜底？很明显，不是企业，也不是消费者。在这一确定的前提下，通过保险等市场化机制，将风险制度化、可定价、可分担，或许正是充分释放AI造福人类潜能的必要条件。
当人工智能逐渐从新鲜事物走向基础设施，它的风险，也终将像交通风险、医疗风险一样，被纳入制度安排之中。这个过程也许曲折坎坷，但很可能是一条绕不开的路。
作品声明：仅在头条发布，观点不代表平台立场
热门跟贴