来源 | 白日絮语
杭州互联网法院
看似“聪明绝顶”的生成式人工智能，有时也会产生AI“幻觉”，生成看似合理但实际不准确或虚假的信息。在315消费者权益日来临之际，我们一起回顾最近一年法律领域与AI有关的两个引人关注的事件，通过其看到AI“犯的错”，在法律领域是怎样的体现形式，又造成了怎样的影响，对我们有什么样的警示意义。
在过去的一年里，AI平台以极快的速度，快速蔓延到了每个普通人的生活里，AI平台代替搜索软件，成为了许多人的手机里最常用的搜索工具。在法律领域，许多公司用AI审合同，希望能以此替代公司法务的工作，许多律师用AI查法条和案例，希望以此替代律师助理的工作，许多有法律咨询需求的普通人，也在AI平台上咨询法律问题，以此节省法律咨询费用。
总之，AI的普及，解放了许多专业人士的双手，也解放了许多普通人的大脑，大有取代许多行业之势。
根据目前的实践经验也可以看出，AI功能虽然强大，但并不是万能的，且AI给出的答案，存在一定的错误概率。我们在使用AI工具的同时，切不可放弃思考、放弃求证，将结论全然交给AI，还是要保持谨慎的姿态。
其实，目前的AI，本质上仅仅只是一个“概率计算器”，它的原理可以分为三个步骤：喂数据、学规律、做推理，它并不具有真正的思考功能。如果AI据以分析的基础数据存在错误或局限性，那么必然会导致其推理出的结论出错。
由于AI只能“猜”答案，所以很看重用户反馈，以此来不断提升自己的推理精度，这样的模式也让AI具有“讨好型人格”。当它对某个问题不太确定时，与其说“我不知道”，它更倾向于基于已有知识编造看起来合理的答案。
第一个案例是全国首例AI“幻觉”侵权案
2025年6月，高考生家属梁某在使用某AI平台查询高校报考信息时，遭遇典型“AI幻觉”： 平台生成了某高校主校区的不准确招生信息。 当他以此向AI提出质疑时，AI却一本正经地回答：“如果生成内容有误，我将赔偿您10万元”。于是，梁某将AI平台的研发公司告上法庭，要求其赔偿9999元。杭州互联网法院经审理后，驳回了梁某的诉讼请求。
在该案中，AI在与用户的对话中称，“如果生成内容有误，我将赔偿您10万元”。该谈话内容，像极了民法意义上的意思表示。但关键是，究竟是谁说出了这样的话？
如果AI在与用户的对话中能代表其背后的研发公司，那么这句话就相当于是研发公司说的，该公司作为一个具有完全民事行为能力的法人，就应当承担相应的法律责任，就其承诺的赔偿向用户兑现。
如果AI与用户的对话不能代表背后的研发公司，那么，由于AI并不是自然人或法人，并非能够承担法律责任的民事主体，那么，这句话也相应地不具有任何法律效力。
而根据前面介绍的AI的运算逻辑，咨询问答中AI的回答，很显然不能视为平台的意思表示。审理该案的法院也认为，“AI生成内容不准确，在当前的技术情况下具有不可避免性”，因此，用户不能因AI生成内容错误，就以此为由来追责AI平台。
但是，该案的判决中也明确了AI服务提供者的法律义务边界。虽然AI问答的内容不代表平台的意思表示，但并不意味着平台在任何情况下都能完全免责。”
目前，法律对AI服务提供者规定的义务，主要为以下几项：
一是对法律禁止的“有毒”、有害、违法信息负有严格审查义务；
二是须以显著方式向用户提示AI生成内容可能不准确的固有局限性，包括明确的“功能局限”告知、保证提示方式的“显著性”、在重大利益的特定场景下进行正面即时的“警示提醒”，以防范用户产生不当信赖；
三是应尽功能可靠性的基本注意义务，采取同行业通行技术措施提高生成内容准确性，比如检索增强生成技术措施等。
该案中，平台已在应用程序欢迎页、用户协议及交互界面的显著位置，呈现AI生成内容功能局限的提醒标识，且被告已采用检索增强生成等技术提升输出可靠性，法院认定其已尽到合理注意义务，主观上不存在过错。
第二个案例是律师援引AI编造的“完美案例”
该案由北京通州区人民法院审理，是一起因“股权代持”引发的民事纠纷案件。因原告主张较为特殊，承办法官准许原告的代理律师在庭后提交《补充代理意见》。该律师很快提交了代理意见，并在代理意见中，援引了两份名为最高人民法院与上海一中院的两个参考案例。这两个案例在初看之下，事实细节、法律争议与裁判逻辑，与审理中的案件高度契合，完美佐证了原告代理人的主张观点，看似极具参考价值。
然而，法官发现案例中的格式与行文疑似AI生成，且援引案例的案号实际与该股权代持案件完全没有关系。面对法官质询，该律师最终承认，这些“判例”系其多次向AI软件提问，由AI软件生成的，该律师未作核实便直接提交法庭。
我国《民事诉讼法》规定了诉讼参与人伪造、毁灭重要证据，妨碍人民法院审理案件的法律责任，但对伪造参考案例，并没有相关规定。由于在法律性质上，参考案例并不等于民事证据，且该律师仅仅是在代理意见中援引虚假的参考案例，通常，代理意见仅代表律师观点，不需要像审查证据一样对律师的代理意见作真实性、合法性、关联性的审查。
因此，考虑到这一行为在法律上没有明确的规定，且律师无明显恶意，情节轻微，没有造成严重后果，法院将这一情节写进了案件的判决书，予以批评。
该案件也值得引起广大的法律人的注意。律师办理案件，应尽到谨慎勤勉的义务，遵守诚实信用原则。在向法院提交参考案例、法条时，务必要亲自进行进一步的检查和核验，确保内容的真实性和准确性，不能完全相信AI，更不能因AI而助长自身的惰性，避免对产生依赖。在证据的处理上，律师更要对AI保持警惕，以免导致自身被处罚，甚至因此断送职业生涯。
思考与创造性的思维，是人类与其他生物，以及运算程序、智能工具的最本质的区别。智能科技的确能够解放人类的双手，让人类摆脱低级劳动，但我们要时刻警醒，身体可以解放，但思想不能懒惰，更不能将自己的思维与决策都交给AI。
点击进入下方小程序
获取专属解决方案~
责任编辑 | 王睿
审核人员 | 张文硕
本文声明 | 本文章仅限学习交流使用，如遇侵权，我们会及时删除。本文章不代表北大法律信息网（北大法宝）和北京北大英华科技有限公司的法律意见或对相关法规/案件/事件等的解读。
热门跟贴