【作者】徐舒浩(上海交通大学凯原法学院助理教授、法学博士,北大法律信息网签约作者)

【来源】北大法宝法学期刊库《政治与法律》2026年第2期(文末附本期期刊目录)。因篇幅较长,已略去原文注释。

内容提要:在自动驾驶语境中,人工智能软件产品缺陷是指预测模型和决策函数在事故基础率、预测误差率、假阴性率上没有达到合理的安全标准。但晚近的计算机科学研究已经表明,低事故基础率、低预测误差率以及低假阴性率的“三低”状态不具有理论上的可能性,处理其中两项“缺陷”的过程,必然伴随着放大剩下一项“缺陷”。为了保证人工智能的安全性,有理由放弃假阴性率这一指标,如此便会导致“缺陷”这一概念在人工智能致损责任分配问题上式微。而一旦告别“缺陷”,纯粹因自动化决策而产生的损害赔偿责任就应当采纳二层次判断方案。第一层次是“无过错责任”,即只要能够证明损害发生时处于自动化决策状态,就由人工智能软件提供者承担损害赔偿责任;第二层次是“安全性证明+风险基金补偿”,即被告通过统计型证据举证证明软件的事故基础率和预测误差率符合市场准入门槛时,由行业组织设立的风险基金承担替代责任。

关键词:自动驾驶;人工智能;统计型证据;设计缺陷;无过错责任

目次 一、问题的提出 二、自动驾驶人工智能产品“缺陷”问题的理论与立法 三、人工智能产品“缺陷”的三种概念 四、人工智能产品“缺陷”的理论困境 五、告别“缺陷”后的无过错责任方案 六、结语

问题的提出

关于人工智能侵权致损时,人工智能产品(软件)提供者的民事责任承担问题,存在着过错责任与无过错责任的争议。其中,支持无过错责任有两种论证思路。第一种是产品责任思路。如欧盟2024年12月修订实施的《关于缺陷产品责任与召回责任的理事会指令》即“欧盟2024/2853指令”将人工智能软件归入产品,并对其适用无过错责任。国内也有学者指出“法律应对人工智能所构成的终端产品施加产品责任或严格责任”。第二种是非产品责任思路,主要从几个方面展开:第一,人工智能具有不可控、不可预测的致害危险性,这种过高的损害风险“超出了与风险程度大致相当的安全保护”,从公平角度出发,不应考虑过错要件,而应为被侵权人提供更充分保护;第二,无过错责任可督促人工智能软件产品提供者致力于提供更安全的产品或服务;第三,在人工智能风险不可控的情况下,无过错责任可以将剩余事故成本全部内在化,提升社会总体福利,因此是一种“有效率”的责任分担方式,同时亦不会过多地抑制企业创新。

尽管绕开产品责任后,人们有诸多理由支持人工智能致损的无过错责任,但从产品责任的内部视角看,能否得出无过错责任的结论,仍存在争议。过错责任的支持者在最近指出,产品责任主要通过诉诸产品之缺陷来证成生产者之责任,但“缺陷”证明实乃过错证明。进一步说,缺陷判断主要依赖两项标准:第一,产品安全性是否符合消费者合理期待;第二,产品提供者为预防事故所付出的成本是否低于事故发生所可能造成的损害。不满足消费者合理期待的安全程度,或者采取预防措施的成本较低而未能付诸实施,即被认定为未尽到注意义务,构成缺陷,而此处的缺陷从根本上说就是过错的同义词。因此,产品责任“实质上是过错责任的轻微修改版本”。

已有学者主张,考虑到人工智能技术内在不可控,人工智能致害的独特危险可能超出产品缺陷的辐射范围,对于超出部分,不宜适用产品缺陷的责任逻辑,而应径直引入无过错责任。这样一来,即便考虑了产品责任的可能性,无过错责任也必然有其一席之地。但值得注意的是,尚无学者提出充分论据来证明,人工智能内在不可控这一事实,究竟如何让其超越产品缺陷的范畴,更直截了当地说,为什么人工智能的决策不能被简单地界定为有缺陷或者无缺陷。这一缺憾为本文的写作提供了必要性。

对人工智能预测方式的理解将使我们认识到,模型决策中归责问题最独特的地方在于,只有允许模型在特定情况下犯错,它才可能避免在其他多得多的情况下犯错,换言之,只有在某种程度上容忍模型在微观世界的误差,才能期待它在宏观世界提高安全性。由此一来,“缺陷”概念恐怕已不能解释人工智能致损问题。本文即论证,“缺陷”概念将在人工智能语境中走向消亡,而当它消亡后,人工智能致损的无过错责任立场或许将更加稳固。

此外,在正式进入话题前,需要进行三点澄清:第一,人工智能致损的侵权责任存在多种场景,即便排除生成式人工智能和服务型人工智能的侵权问题(诸如医疗人工智能、人形机器人等人工智能产品的侵权问题),也频繁存在着侵权事实,为形成聚焦,同时回应实务关切,本文只以自动驾驶致损作为研究对象,但其结论或可推广至其他应用场景;第二,自动驾驶相关产品有硬件产品与软件产品之分,硬件产品通常为有形物,纳入现有产品责任体系不存在疑难,故本文讨论对象仅为自动驾驶人工智能中的软件产品,即自动驾驶模型;第三,产品责任在此处指的是人工智能软件产品提供者承担的责任,不涉及开发者、训练者、测试者等主体。

自动驾驶人工智能产品“缺陷”问题的理论与立法

损害责任是人工智能法律责任问题的一个焦点。目前的主流观点是对(除生成式人工智能与服务型人工智能之外的)人工智能损害责任适用产品责任,主要包括制造缺陷、设计缺陷和警示缺陷,其中又有观点认为,纯粹由模型本身的决策造成的事故损害适用设计缺陷,其核心是判断人工智能软件是否造成了“不合理的危险”,只要其造成“不合理的危险”,便认定模型设计者违反其注意义务,因而存在“过失”。本文将证明,最近从计算机科学中发展出来,并延伸至法学的理论共识,已经证明这种归责原则是对人工智能算法(预测)的不恰当想象。为此,需要前置性地解释什么是人工智能预测和决策,这里以自动驾驶为切入点。

(一)纯粹设计缺陷

自动驾驶致损中的归责是一个复杂问题。按照通常的技术分解,自动驾驶中人工智能决策机制大体包括“感知、预测、决策”三个模块。其中,“感知”是指通过传感器、互联网以及驾驶员指令而形成的数据输入,“预测”是基于输入数据而输出可能发生之事件的条件概率,“决策”是基于输入与预测而输出行动选择。计算机科学通常会将预测模块称为预测模型(predictive model),而将决策模块称为决策函数(decision function)。自动驾驶场景中,预测模型的输出可简单理解为事故概率的高低,而决策函数的输出包括横向和纵向控制、辅助性提示、发出警报和接管请求,接受或拒绝动态驾驶任务后援用户的接管指令等。其中每个模块出现的错误都存在不同的可能原因,比如,遍布车身的传感器未能感知到相关环境信息,既可能是因为汽车自身的制造问题,如传感器的部署位置不合理,其固定方式存在缺陷等,也可能源于外在因素,如异物遮挡、空气中微粒的反射、外部光线影响等。同样,自动驾驶系统在决策时的错误也可能与汽车其他硬件的故障(如轮胎缺陷、制动缺陷、车身强度缺陷)、车外人员过错,或者路面塌陷、杂物等问题有关。

这里不讨论上述所有的制造因素和外在因素,并且排除系统死机、瘫痪、黑客攻击、后台安全员的过错等因素导致的故障,仅仅关注自动驾驶模型基于其正常的预测和决策造成之损害的归责问题。也就是说,本文仅关注自动驾驶汽车按照人工智能的正常指令行驶,依然发生事故时责任的归属问题。

此外,自动驾驶决策的一个重要议题分支是碰撞时的伦理函数设计,也就是人们熟悉的“电车难题”,学者们认为,既然要研究自动驾驶模型决策,就必须明确“碰撞的优先性规则”。这里需要澄清,本文所分析的话题与“电车难题”议题有明确分工,后者要处理的是,倘若人工智能必须在几种碰撞后果之间进行抉择,怎么撞才能在道德上被证成;而本文处理一个逻辑上更靠前的问题,即为了激励企业去部署更安全的自动驾驶人工智能模型,应当如何设计归责原则。它之所以在逻辑上更靠前,是因为它不解决碰撞对象之间的损害分配问题,而解决如何在总体上减少碰撞的问题。

(二)地方性法规中若隐若现的“缺陷”概念

民事责任是自动驾驶责任体系中起到示范作用的一部分。但在我国,无论是《民法典》还是《道路交通安全法》都没有就自动驾驶中的侵权责任认定方式进行明确规定。相关责任规范更多是由这几年陆续出台的一些地方性法规来先行补充。有的地方性法规明确地把车辆存在缺陷作为责任标准,比如,2022年8月1日实施的《深圳经济特区智能网联汽车管理条例》第53条分别将有驾驶人和无驾驶人两种情况下智能网联汽车一方责任归给驾驶人和车辆所有人、管理人,紧接着,其第54条又规定,“智能网联汽车发生交通事故,因智能网联汽车存在缺陷造成损害的,车辆驾驶人或者所有人、管理人依照本条例第五十三条的规定赔偿后,可以依法向生产者、销售者请求赔偿”。根据该条例,自动驾驶汽车生产、制造、销售者、自动驾驶系统开发者是第二顺位的责任人,其还额外明确,第二顺位责任人承担责任的依据是汽车“存在缺陷”。究竟是什么缺陷,没有明确的说法,不过,可以合理推测其应当是指汽车安全设施设备、自动驾驶系统软件的缺陷。于是,在交通事故中,导致汽车安全设施设备、自动驾驶系统缺陷的行为,就与事故中各方的其他过错行为一起参与责任的分配,对于这一点,2024年5月1日施行的《杭州市智能网联车辆测试与应用促进条例》明确规定,“智能网联车辆发生交通事故的,应当根据事故各方的行为对事故发生所起的作用以及过错严重程度,确定各方的事故责任”。

这些规定隐含的是一种过错的逻辑,其假设的是,在汽车及其软硬件的设计、制造中发现缺陷,可以作为制造者、设计者存在过失的依据,因此可以成为他们“加入”事故责任方,按照过错程度分担责任的依据。我们稍后讨论这种责任承担方式在人工智能责任问题上面临的困境,先来看看学者们通过哪些途径来支持这一过错的逻辑。

自动驾驶软件缺陷通常被归类为设计缺陷。所谓设计缺陷,指的是产品在设计和策划时就存在的方案上的固有缺陷,并且这种缺陷是“比较出来的”。按照美国侵权法第三次重述,设计缺陷是指:对于产品固有的、可预见的损害风险,产品设计者、生产者、商业分销链中的其他参与者原本可以采取更合理的替代性设计方式来减少或者消除该风险,但因为自身的疏忽而未能采用替代性设计,而需要为其过失承担责任。也就是说,设计者和生产者原本可以采取替代性设计方案,因“疏忽”未付诸实施,这一事实证明了其对缺陷具有过失,故成为责任的依据。因此有学者指出,美国侵权法第三次重述对设计缺陷的规定使得设计缺陷“不再关注产品本身,而是转向关注生产者行为的合理性,从而使其具有了更多可归责性和过失责任的韵味”,“设计缺陷和警示缺陷的认定上融入了过失责任的因素”。

那么,何种情况下,自动驾驶软件的提供者会被认为具有过失呢?通常认为,“对于其软件设计中的明显漏洞,应当直接认定为设计缺陷”。也就是说,虽然我们并不事先知道自动驾驶模型会在什么场合下产生错误,但是只要这个错误是连人类驾驶员都不太会犯的明显错误,就应当认为自动驾驶软件存在设计缺陷。在这个论证中,自动驾驶软件和驾驶者的比较,相当于车辆测试安全员和普通驾驶人的比较,前者虽然会遭遇事故,但其往往遭遇的是一些不可避免的事故,一些倘若普通驾驶人接管,更加无法躲避的事故。反过来说,若自动驾驶系统因为其决策方案的漏洞而犯一些普通驾驶人都不会犯的错误,那么它显然没有采用最佳的设计思路,也就意味着,一定还有更好的、已经应用的软件设计可以避免这些错误,因此不采取这些设计就构成设计者的过失。

将自动驾驶软件类比为车辆测试安全员,一个隐含的想法是:错误是一个一个犯下的,因此,一个学习能力良好的行动者可以一个一个弥补它们,没有达到这种良好的学习能力,本身就是一种过失。更关键的是,它假设了宏观层面的错误率与个体层面的错误程度之间的一致性,即一个总体上会犯更少错误的驾驶者(比如车辆测试安全员)大概率会去避免那些很低级的错误,反之亦然,所以,自动驾驶模型的性能与设计缺陷中的错误概率呈反比,性能越好,具体场景中就越不可能犯错。这个设想和我们当下的责任体系与归责原则保持着高度一致,当我们基于这个思路,将责任归给自动驾驶人工智能产品的提供者时,可以没有负担,因为按照该思路,那些被认定为具有“缺陷”的自动驾驶软件,显然是性能上不过关的瑕疵技术产品,投放到市场中只会降低道路交通安全性。

已经有学者反思这一对自动驾驶技术采取的归责模式,可能是对人工智能领域“缺陷”问题的一个误解。其指出:“很多情况下,一项孤立的、可以通过几行代码加以纠正的、从一开始就能避免的缺陷,将不会存在或者至少无法证明。事实上,不能通过改写几行代码就解决个别缺陷,因为自主学习系统不是这么设计的。对于系统在紧急情况下某种行为的改变,必然会改变自主系统在其他潜在事故情形中的行为,这会带来不可预见的结果。”其潜在含义是,人工智能减少其总体错误率的过程,与克服个别错误的过程,是不可直接加以等同的,而这也是“缺陷”这一概念不能被简单套用至人工智能领域的原因。

但时至今日,还没有学者使用一套明确的理论框架来解释为什么人工智能系统的性能与它在个别场景中的错误率之间存在着比我们所想象的更复杂的关系。下面,我将借助计算机科学家以及一部分法学学者最近发展出来的一套理论来展示一个论断:当模型的安全性整体提升时,它在个别情况下出现误判的概率也会增加,所以,没有一种缺陷认定标准能够就宏观和微观部分给出统一的安排,法律责任体系的设定是在三种不同的“缺陷”概念之间进行抉择。

人工智能产品“缺陷”的三种概念

认为自动驾驶算法(模型)存在设计缺陷,狭义上看就是指它可能存在预测上的缺陷,比如,倘若某个驾驶行为事实上开启了危险,而人工智能预测其很安全,那么基于这一错误预测就可能导致事故,一旦这样的错误预测大量发生,就有理由认为模型存在设计上的失误。

当前的自动驾驶技术还处于人机协同驾驶阶段,意味着人工智能尚未全面超越人类驾驶员,其在预测时最重要的工作是比较某个紧急场景下自动驾驶与人类驾驶的风险。如果认为自动驾驶风险比人类驾驶更高,那么它倾向于采取的决策包括发出警报、发出接管请求以及采取危险最小化驾驶动作等;而倘若认为自动驾驶风险低于人类驾驶,则合理的决策是径直控制车辆完成规避动作,不发出警报,甚至L4及以上自动驾驶等级的车辆可以选择暂缓执行人类驾驶员的接管指令。但既然自动驾驶模型是否存在缺陷,取决于其预测能力,那么,究竟如何评价一款人工智能软件的预测能力呢?要坦承的是,没有人知道自动驾驶模型的具体预测机制,目前主流自动驾驶软件均采用深度学习算法,意味着包括软件设计工程师在内的几乎所有人都无法知晓模型的预测方式。所以问题转化为,如何绕过模型的内部机制来评价它的性能?答案是通过“统计”,也就是通过道路测试等方式来统计和比较模型的各项数据;我们可以通过观察自动驾驶模型预测了什么与实际上发生了什么之间的统计关系,来判断人工智能是否存在缺陷。为此,下面引入三个和统计学密切相关的“缺陷”概念,在人工智能致损议题上,它们都被法学学者主张或讨论过,但尚无研究来揭示它们彼此之间的关系。

(一)假阴(阳)性率

“假阴(阳)性率”或者“错误率”,指的是当某个事件或状态存在(或不存在)时,预测结论与实际情况不符的比率。其包含两种,一是事件或状态实际上并不存在,但预测其存在,称为假阳性;二是事件或状态实际上存在,但预测其不存在,称为假阴性。在自动驾驶建模过程中,假阳性是指,预测自动驾驶风险高,但实际上并非如此,所以车辆会错误地发出接管请求、警报等;假阴性是指,预测自动驾驶风险低,但实际上并非如此,这意味着,车辆可能本应当发出警报而未发出,或者本应当请求驾驶员接管,却选择由自身完成驾驶行为(甚至抵触驾驶员主动接管的指令)。显然,错误地预测自动驾驶风险低于人类驾驶,是更严重的错误,原因是,它最终让驾驶员丧失了规避事故的机会。在责任体系中,一旦能够举证证明自动驾驶系统经常性地错误预测自动驾驶风险低于人类驾驶(也就是说,虽然自动驾驶事实上发生了事故,但它预测不会发生事故,这就是为什么它被称为假阴性),似乎应当肯定系统存在缺陷。

倘若将假阴性率作为核心考虑因素,我们可以得到自动驾驶软件设计缺陷的第一个概念。“设计缺陷”概念I:倘若在所有事实上发生事故的情况中,一款自动驾驶软件经常性预测自动驾驶不会发生事故(没有发出接管请求、警报,或者暂缓执行驾驶员的主动接管指令),因此具有较高的假阴性率,则应当认定该软件存在设计缺陷。

(二)阴(阳)性预测误差率

然而,假阴(阳)性率只能测量实际上发生某个结果时,模型给出错误预测的概率,它无法评价模型本身的预测误差率或者说它的预测能力。所谓的预测误差率是指,当一个关于事件或状态存在(或不存在)的预测被给出时,它不符合实际情况的比率。其同样包含两种情况,即阴性预测误差率与阳性预测误差率。其中,阴性预测误差率是指预测一个事件或状态不存在,但其事实上存在的比率;阳性预测误差率是指预测一个事件或状态存在,而其事实上不存在的比率。为了区分假阴(阳)性率与阴(阳)性预测误差率,不妨考察表1,表格中的“+”代表阳性结果,“—”代表阴性结果,a、b、c、d各自指代一个特定数值。

表1 假阴(阳)性率与阴(阳)性预测误差率的比较

比如,若要测量的是假阴性率,则需计算b除以(a+b)的结果,也就是说,它计算的是所有实际上为阳性的结果中,有多少被错误地预测为阴性;而如若所测量的是阴性预测误差率,要计算的事项变成b除以(b+d)的结果,它的含义是,当一项阴性预测被给出时,它的失败概率(预测对象事实上为阳性的概率)是多少。

现在,考虑到自动驾驶模型的预测准确性同样对自动驾驶产品的性能具有关键意义,如将预测误差率作为核心考虑因素,我们可以得到设计缺陷的第二个概念。“设计缺陷”概念II:倘若一款自动驾驶软件经常性预测自动驾驶会(不会)发生事故,但事实上没有发生(发生了)事故,预测能力较差,则应当认定该软件存在设计缺陷。

(三)基础率

前两个概念聚焦于模型的预测功能。但我们通常讨论自动驾驶系统的性能,除了评价它的预测功能,更常见的是评价它在真实世界的表现。为此,计算机科学家借用统计学上的术语即基础率(base rate),来描述模型的性能。所谓基础率,就是比较自动驾驶和人类驾驶在事故绝对数量上的差异,比如,在全部100个紧急场景中,自动驾驶事实上避免了其中85起事故,人类驾驶员只避免了其中25起事故,则应当认为自动驾驶的事故基础率为0.15,人类驾驶为0.75,从基础率上看,自动驾驶比人类驾驶更安全。之所以要使用基础率来评价自动驾驶,同样在于自动驾驶的预测模型与决策函数不可知,因此只能通过其在真实世界的表现推测其安全性。学者们通常会说,由于自动驾驶技术的发展,开车比过去更安全了,自动驾驶的事故概率比人类驾驶更低,其所指的就是自动驾驶的事故基础率低于人类驾驶。

可以认为,当汽车行业的总体共识是,自动驾驶旨在提高汽车的安全性,因此自动驾驶风险应当低于人类驾驶,则两者之间事故基础率的比较将成为软件提供者是否存在过失的依据。由此,自动驾驶人工智能软件的使用者,可以举出“该自动驾驶软件的事故基础率事实上高于人类驾驶”的统计型证据(statistical evidence),来证明其存在设计缺陷。我们因此得到了自动驾驶系统设计缺陷的第三个概念。“设计缺陷”概念III:倘若一款自动驾驶软件的总体事故基础率高于人类驾驶,或者其在某些驾驶场景中的事故基础率高于人类驾驶,则应当认定该软件存在设计缺陷。

可以发现,这三种“缺陷”概念都符合我们对人工智能产品提供者责任的直觉认识,似乎都能用以证明其存在某种程度上的“过失”。更关键的是,我们会认为这些“缺陷”之间存在因果上的联系,从人类的视角看,具体事故中经常犯错的驾驶员,其驾驶技术的拙劣,在宏观上一定体现为他缺乏敏锐的预测能力,并因此造成了更多交通事故。实际上,也正是这种思考的惯性,让我们不假思索、心安理得地将传统的责任体系赋予自动驾驶,因为只要明确自动驾驶软件符合其中一种“缺陷”概念,就能合理地推测它同时符合另外两种“缺陷”概念。

人工智能产品“缺陷”的理论困境

然而,最近的一些研究进展表明,这三种“缺陷”概念在人工智能致损责任问题上不仅不存在正向联系,而且它们之间实乃“悖反关系”,解决其中两项“缺陷”的过程,往往伴随着放大剩下一项“缺陷”。为了解释何以如此,下面将提出一种描述框架。

(一)自动驾驶软件性能的法律评价方式

不妨通过一个思想实验来说明三种“缺陷”的悖反状态。现假设,智能网联车辆测试主体针对道路测试中事故情况收集的数据已能够帮助其比较自动驾驶与人类驾驶的事故率。为消除复杂性,聚焦于最根本的问题,假设该测试主体目前只比较了某一驾驶场景下自动驾驶与人类驾驶的事故率,并假设这些数据均具有真实性和统计上的科学性,进而形成表2所示的结果。表格中的全部数字仅反映“实际事故情况”,在纵列中体现为“事故”和“无事故”两个分组,横排则反映了自动驾驶模型对事故的预测情况,也就是它对目前驾驶状态下(其中的自动驾驶是指最终驾驶状态为自动驾驶;人类驾驶是指最终驾驶状态是关闭自动驾驶系统而由人类驾驶员控制车辆)发生事故概率的预测。为简化问题,这里的预测只有二值分类(即只有“高”和“低”两个风险等级),而不包含连续性的风险评分。

表2 自动驾驶状态下的事故情况和人类驾驶状态下的事故情况

表2左侧的数据体现的是该场景下自动驾驶的事故率。在100个样本中,事实上有71个样本未发生事故,29个样本发生事故,事故基础率为0.29。若更细致地分析,会发现有69个样本的预测是“自动驾驶风险低”,并且事实上未发生事故,有22个样本的预测是“自动驾驶风险低”,但事实上发生了事故,由此,可计算该模型在预测自动驾驶风险低时,其预测误差率为22/(22+69)即0.253。同理,由于模型在预测自动驾驶风险高的9个样本中有7个发生了事故,2个未发生事故,可发现该模型在预测自动驾驶风险高时的预测误差率为2/(2+7)即0.222。

现在将人类驾驶的情况纳入,以期比较。在表2右侧,100个样本中事实上发生事故的是66个样本,未发生事故的是34个样本,事故基础率为0.66。其中,有60个样本的预测是“人类驾驶风险高”,且事实上发生事故,20个样本的预测是“人类驾驶风险高”但并未发生事故,可计算模型在预测人类驾驶风险高时的预测误差率为20/(60+20)即0.25。与此同时,模型在预测人类驾驶风险低的20个样本中,6个发生了事故,而14个未发生事故,表明模型在预测人类驾驶风险低时的预测误差率为6/(6+14)即0.3。

基于这些数据,如何评价该款自动驾驶软件的性能?第一是预测误差率。我们会发现,模型在全部四种情况下的预测误差率均不超过0.3,可认为其有良好的预测能力,可以同时准确评估该场景下自动驾驶和人类驾驶员驾驶的风险。第二是事故基础率。自动驾驶的事故基础率为0.29,人类驾驶的事故基础率则达到0.66,为前者的两倍多。因此,可认为该款自动驾驶软件的驾驶能力远比平均水平的人类驾驶员优异。

(二)三种“设计缺陷”的不可能三角关系

考虑到自动驾驶模型“设计缺陷”的第二个概念指向糟糕的预测准确性,第三个概念指向高于人类驾驶的事故基础率,我们似乎可以认为,该款软件同时规避了这两种“缺陷”。其表明,自动驾驶软件设计开发和测试者只要努力在道路测试(以及在真实世界)中降低预测误差率,并降低事故基础率,就可以避免基于产品缺陷的指控。但事实真的如此吗?

根本问题在于,此处对预测误差率的理解忽略了诉讼的语境。通常情况下,能够进入诉讼的案件往往是“已经发生事故”的案件,无论模型对风险的预测有多准确,那些被准确预测且未发生事故的样本都不会进入司法程序,因此只需要考虑,在所有已经发生事故的样本中,模型的假阴性率是多少。

为此再来看,表2左侧显示自动驾驶导致了总共29起事故,其中,模型只在7起事故中给出了高风险预测,而在22起事故中给出了低风险预测,也就是说,实际上发生事故时,模型给出错误预测的概率高达0.759,与之截然相反的是,在总共71个未发生事故的样本中,模型只对其中2起给出了高风险预测,所以当实际上无事故时,错误预测的概率反而又低至0.028。反过来,我们会在表2右侧看到与之相反的情形,对于人类驾驶而言,实际发生事故的情况下模型给出错误预测的概率仅为0.091,而实际上无事故时,模型的错误预测概率(也就是错误地预测人类驾驶员可能造成事故)高达0.589。

假设所有发生事故的案件都进入诉讼程序,人们会惊讶地发现,这款软件对人类驾驶发生事故的预测在准确率上是它对自动驾驶发生事故的预测的八倍。下面用表3呈现所有需要列出的数据。

表3 两种驾驶状态下各项指标的比较

表3显示,自动驾驶软件虽呈现出卓越的预测能力,但对于所有进入诉讼程序,要求人工智能提供者承担产品责任的当事人而言,他们遭遇的事故都可归咎于软件预测功能在自动驾驶状态下极高的假阴性率。并且看上去,当事人可以合理地认为“设计缺陷”概念I指的就是这一假阴性率,毕竟,自动驾驶车辆事实上发生了事故,模型在此前却预测其不会发生事故,因此没有发出接管请求、警报,或者暂缓执行驾驶员的主动接管指令。似乎有理由认为,当这一情况的概率足够高时,产品设计显然存在缺陷。若有人怀疑这一假阴性率是否真的很高,就把人类驾驶的对应数据拿来比较,在人类驾驶时,若发生事故,软件错误地预测其不会发生事故的概率仅为0.091,这是一个不可接受的差异。

也许有人会说,既然较高的假阴性率构成自动驾驶软件的产品设计缺陷,那么,只要在确保自动驾驶模型较低的事故基础率和合理的预测能力的情况下,借助算法的改进来降低假阴性率即可。这也构成开发者和产品提供者对设计缺陷存在过失的依据,毕竟,在原本能够避免更多的模型预测错误的情况下,未能这么去做,表明责任主体违反了其注意义务。此处的“缺陷”刚好迎合了美国侵权法第三次重述以及许多国内学者所理解的“设计缺陷”的规范内容,即当更好的设计方案具有现实可行性时,依旧维持那个更差的方案而不思改进,本身就构成过错。在这里,过高的假阴性率是那个需要被“改进掉”的更差的设计。

与一开始的直观感受相悖,在仔细考察后,我们转而倾向于认为,这款软件具有缺陷。但这种判断上的倾向,依旧根植于我们对人工智能的拟人化想象,我们会认为人工智能模型的改进是它逐一将身上的缺陷消除的过程,好比一个学生从初学者开始,一点点让自身的能力成熟和完善,用具体计划和目标去克服那些看得见的不足。若人工智能的某个指标难以达到理想状态,那么在不改变其他要求的情况下直接对其加以改善即可,就好像算法工程师可以径直命令它改掉这个毛病。

然而,这种拟人化是对人工智能的深刻误解,我们很快会看到,自动驾驶人工智能技术的最独特之处,就在于它的进步并不是“线性的”“直观的”,乃至“可理解的”,进而体现为较低的事故基础率、较低的预测误差率以及较低的假阴性率这三者在理论上根本无法同时被满足。

现在,要证明自动驾驶软件存在缺陷,一个明确的路径是证明其与市面上的其他同类产品相比,不具有目标客户所期望的平均安全性,因为它的假阴性率(即事实上发生事故的情况下却预测其不会发生事故)畸高,原告可以进一步举证,因为人工智能类软件越来越兼具“产品”和“服务”的双重属性,所以未能及时更新自动驾驶软件以降低假阴性率,构成责任人的过失。

问题是,如何更新该软件呢?回到表2左侧,要想降低假阴性率,则必须在实际发生事故的样本中提高高风险预测的比例,并同时降低低风险预测的比例。对此,可行的思路是采取腾挪法,也就是从预测自动驾驶风险低且事实上未发生事故的样本中挪出一部分补充至预测自动驾驶风险高且事实上发生事故的样本中,同时,再从预测自动驾驶风险低且发生事故的样本中挪出一部分填充至预测自动驾驶风险高且未发生事故的样本中,形成所谓的“交叉腾挪”。它的优势在于能够确保自动驾驶汽车维持较低的事故基础率,保证人工智能的安全性,但它同时也将显著提高预测误差率。在完成“腾挪”后呈现的表4中(“↑”代表数值上升,“↓”代表数值下降),虽然实际上发生事故时给出错误预测的概率(即假阴性率)从0.759下降至0.333,但预测“发生事故”的误差率从0.222上升至0.412。

表4 自动驾驶模型性能第一次调整

反过来,倘若算法工程师决定让假阴性率降低,同时让预测误差率维持在较低水平,他可以选择进一步调整表4,大规模砍去预测自动驾驶风险低且事实上无事故的样本数量,同时大量增加预测自动驾驶风险高且发生事故的样本数量,得到表5。的确,这时候假阴性率进一步降低至0.178,同时,预测“发生事故”的误差率保持在0.234,看上去是一个皆大欢喜的结果。遗憾的是,这一“改进”丢失了人工智能带来的最大进步,它让自动驾驶的事故基础率从0.29上升到了0.56,几乎倒退至人类驾驶时的事故基础率。

表5 自动驾驶模型性能第二次调整

我们还可以将“腾挪”的过程继续进行下去,但最终必然只能承认,事故基础率、预测误差率以及假阴性率这三者不可能同时按照设计者的意向去改进,总有一项指标会在其他指标改善的同时趋于恶化。晚近的计算机科学已经证明,这三者的不可能三角关系或许无法通过任何算法(或模型训练)来缓和。于是问题就演变为,倘若必须要牺牲一项指标以维持自动驾驶产品的安全性,究竟应当如何抉择?这不仅是一个技术问题,而且是一个法律问题,因为只有当受克减的指标被视为必要的、不得不承受的牺牲时,才有理由使产品豁免于设计缺陷的指控。

我们显然不能在事故基础率上让步,若自动驾驶没有能够避免更多的事故,技术进步将失去它最重要的意义。所以,一开始所遭遇的局面就是自动驾驶与人类驾驶的事故基础率不同,而前面已经显示,只要基础率不同,降低(或维持)预测误差率与降低假阴性率就是两项不可能同时完成的任务。那么,我们是否有理由为了降低假阴性率而牺牲一定的预测准确性?应该说,牺牲预测准确性不符合产品目标客户的期待,因为尽可能准确的预测同样包含在人工智能产品(服务)购买者的合理权利诉求内。更重要的是,牺牲预测准确率的结果可能是更高的安全风险和更多的事故。

如此看来,可接受的结论是,在自动驾驶技术趋于完善的情况下,要容忍人工智能模型较高的假阴性率。一旦推进到这一步,就可以发现在自动驾驶领域,产品缺陷尤其是其中的设计缺陷不再能够发挥实质作用,因为它在一定程度上排除了“预测错误”这一乍一看显而易见的缺陷。后面将说明,这意味着人工智能致损侵权责任不能建立在以“缺陷”为核心的产品责任体系上,而是要在实体上坚持无过错责任,在证明上确保对统计型证据的有效利用。

告别“缺陷”后的无过错责任方案

本文开篇指出,在人工智能致损责任问题上,支持过错责任的学者尝试在产品责任体系中借助“缺陷”概念来确立人工智能提供者的注意义务与过错根据。但前面已经证明,人工智能领域,产品缺陷似乎无法涵盖模型性能指标的取舍问题。而在一定程度上放弃产品责任的思路后,无过错责任可能成为较合理的理论选项。

(一)以“伤害”为中心的归责

侵权法最核心的概念是“伤害”(harm),更准确地说是因过错而导致的伤害。现代侵权法“承认一系列故意的过错,但它最为关注的是意外事故背后的过错”。但是,基于过错的伤害预设了一个前提,它必须是责任主体对危险源的具体疏忽,或者退一步说,它必须指向风险背后的具体过错,所以,产品责任中的缺陷,指的是与致损的结果具有因果关系的具体缺陷。

自动驾驶人工智能“缺陷”的三种概念,与具体损害的相关性程度是依次递减的。假阴性率的相关性最高,它涉及人工智能对本次事故的预测可能性;预测误差率次之,它涉及的是人工智能准确预测类似事故的概率;事故基础率最不相关,因为它只关注自动驾驶软件在所有情况下的综合表现。若是完全遵循侵权法的归责原则,第一种“缺陷”理应成为归责依据,但前面已经指出,倘若我们将畸高的假阴性率视为自动驾驶软件的缺陷,那么合理的替代性设计是想尽办法降低它,但这必然会影响软件在预测误差率和事故基础率方面的表现,让自动驾驶变得更不安全。

考虑到数字时代侵权法的一个重要转型是“从个体救济转向关注群体福利的保护”,为了保证更一般的公共利益,当软件在自动驾驶性能上表现优越时,根本不应当将畸高的假阴性率视为一种缺陷。因此,我们只能将三种“缺陷”(过错)概念中与事故最可能建立因果关系的那个排除,这就构成了对传统侵权法原则的突破。它意味着,我们不能苛责产品提供者未提高系统预测本次事故的可能性,即使它的预测失败是一个大概率事件。换句话说,过错的具体性被放弃,故“缺陷”在自动驾驶场景中被取消了。现在要问的是,在形成这一突破后,究竟应当如何设计归责原则?

简单以“过错”作为责任承担来源的思路已经难以为继,前面说过,自动驾驶算法在三种指标之间的取舍,已经难以被简单概括为过错的问题,那么紧接着需要处理的便是人工智能侵权责任的立法模式是否在当前情况下适用。

(二)人工智能产品责任立法应当超越“缺陷”

目前,人工智能侵权责任较成熟的立法模式来自欧盟。其主要有两个文件。第一个是欧盟委员会于2022年9月提出的立法建议稿《关于使非合同性民事责任规则适应人工智能的指令》即“欧盟2022/0303指令建议稿”(以下简称《人工智能责任指令》)。第二个是欧洲议会和欧盟理事会新修订的《关于缺陷产品责任与召回责任的理事会指令》即“欧盟2024/2853指令”。

先看《人工智能责任指令》,根据该建议稿第4条,当下列三个条件满足时,应当推定被告的过错与人工智能系统产生的输出或者未能产生输出之间存在因果关系:第一,原告已经通过举证或者推定的方式证明被告存在过错;第二,根据案件情节,可以合理地认定该过错对人工智能产生特定输出或者未能产生特定输出造成了影响;第三,原告已经证明,人工智能产生的输出或者其未能产生之输出与损害结果存在因果关系。

在因果关系“推定”的前提下,核心任务是如何证明被告存在“过错”。在设计缺陷中(这里排除制造缺陷、受害者与有过失或者第三者责任的情况),被告的“过错”可通过几种方式加以证明。其一,未遵守法律规定的旨在降低人工智能风险的“注意义务”,比如,违反了欧盟《人工智能法》第29条“高风险人工智能系统部署者的义务”。其二,虽没有违反法定义务,但违反了合理的安全保障义务。然而,评价人工智能模型的提供者是否违反了自身的法定义务或者安全保障义务,关键在于检视其是否训练出指标上达到要求的模型,但正如前面所说,假阴性率、预测误差率和事故基础率这三项标准之间存在着数学上的悖反关系,若是将它们均视为注意义务的内容,则根本不存在一款没有缺陷的自动驾驶软件。由此,问题依然在于如何取舍,或更直截了当地说,在于究竟哪个标准不被视为“缺陷”。

之前说过,“畸高的假阴性率”不应被视为“缺陷”,因为改善它就意味着要放弃低预测误差率或者低事故基础率,带来不可接受的结果。但该判断仍面临阻碍。以欧盟《关于缺陷产品责任与召回责任的理事会指令》为例,该新修订的指令在第10条第2款规定了产品缺陷的几项推定事由,其中(c)项的内容是,“索赔人证明,在以合理方式可预见地使用产品或者在通常情况下使用产品时,损害由产品的明显故障(obvious malfunction)造成”。也就是说,若驾驶员非常正常地开启自动驾驶功能,但没有任何预兆地发生交通事故,则可认为自动驾驶软件存在明显故障,因为它发生交通事故这件事突破了一位普通驾驶员的能力下限。这种明显故障恰恰就是畸高的假阴性率会带来的,因为当预测活动的假阴性率过高时,模型会大量地将那些事实上具有事故风险的自动驾驶操作误判为没有风险,因此未能发出预警或接管请求。难以想象,在上述法条定义中,畸高的假阴性率不被视为“明显故障”。

可见,无论是《人工智能责任指令》还是《关于缺陷产品责任与召回责任的理事会指令》,都没有投入法律资源处理人工智能产品“设计缺陷”所遭遇的这一极为特殊的困境。我国各地试点的地方性法规中也存在类似问题,本文在开始处已经指出,《杭州市智能网联车辆测试与应用促进条例》将“缺陷”纳入“过错”这一更大的概念,但自动驾驶软件的训练过程本身就意味着取舍,不能认为算法工程师保护其中一些指标(以保障群体福利)而牺牲另外一些指标就构成所谓的过错,必须引入一个新的框架,来重新布置人工智能致损的责任分配体系。

(三)责任认定的二层次方案

可以明确的是,对于自动驾驶人工智能系统而言,将总体性能作为评价基础是合理的,这就意味着,一个模型只要足够安全,那么就应当认为其不具有侵权法意义上的设计缺陷。但“安全”不是一个个别事实,它是一个有关能力和倾向的事实,它指的是,在大多数紧急场景中,模型都比人类驾驶员更安全。所以,为了测量它的安全性,我们应当关注事故基础率和预测误差率,只要自动驾驶的事故基础率足够低,它对危险的预测足够准确,就可以认定其具有安全性。这样一来,取舍就明确了,我们应当放弃把假阴性率作为“过错”和“缺陷”的依据。必须承认,一旦将焦点放在事故基础率和预测误差率上,我们对模型安全性的判断就大体上脱离了本案的具体情境,而需要求助那些看上去无关的统计性事实。但这一有意的“超脱”是必要的,它尊重了人工智能与人的巨大差异:对于人而言,总体性的改善可以被理解为大量个别改善的加总,所以,对其在个别情况下的错误施加罚则是合理的。但对于人工智能而言,总体性改善与个别改善之间的关联是一个黑箱,强制其对个别情况进行调整,不仅不一定改善总体,而且有可能贻害总体,这一点已经被事故基础率、预测误差率和假阴性率之间的不可能三角关系揭示出来了。

于是,对于自动驾驶人工智能侵权的归责,就存在实体和证据两个维度。

不符合风险基准或市场准入门槛的自动驾驶软件必须具备两个特点:第一,与人类驾驶员相比,它在统计意义上造成了更多事故,或者没能够避免更多事故的发生;第二,它不具备良好的事故预测能力。这些缺陷表明一款自动驾驶软件没有经过良好训练,因此将其投放于市场本身就构成一种过错。但平心而论,这种过错并不会与具体案件中的损害结果建立因果关系,实际上,与损害结果建立因果关系的是畸高的假阴性率,即“对于实际上发生的事故而言,自动驾驶模型极可能预测其不会发生事故”,因此导致了事故。但因为我们已将假阴性率排除,所以实际上,纯粹因设计缺陷造成的侵权中,过错与结果之间的因果关系被排除了,这就意味着在自动驾驶侵权之诉中,此类问题永远无法满足过错要件。

这一特点在证据维度上体现为一种证据排除规则,即当事人举证证明自动驾驶模型存在设计缺陷时,若有统计型证据已确证该模型具有低事故基础率和低预测误差率,则任何证明该模型的假阴性率高(因此,事实上所发生的事故大概率无法在自动驾驶状态下避免)的证据将不具有可采性。在此情况下,唯一具有相关性的证据被排除,继而没有任何渠道能够证明人工智能提供者的过错与损害结果之间具有因果关系。前已述及,“设计缺陷”概念I是最接近法律条文和司法裁判中所使用的“设计缺陷”概念的,但由于证据排除规则的存在,该概念就被取消了,也就是说,不再存在真正意义上的“缺陷”。

然而,这是否意味着,纯粹与软件设计缺陷相关的事故中,只要能够通过统计性事实证明自动驾驶软件的性能过关,便可免除被告责任,而只得由受害人自行承担后果?也并非如此,可以明确的是,既然损害是由自动驾驶造成的,由受害人承担损害后果,显然不公允。法谚云:“当两个人中必须有人承受损失时,应由造成损失的一方承担。”所以我们可以采取的立场是一个二层次判断方案。

第一层次是“无过错责任”,即只要能够证明在事故发生时处于自动驾驶状态,事故是由自动驾驶模型的决策造成的(即存在行为与结果的因果关系),以及存在损害结果,即由人工智能产品提供者承担损失。这是由受害人权利受损的事实、利益的流动方向,以及产品经营者对风险的控制力所决定的,但这并不是说提供者必须独自承担全部损失,而是说,必须由生产、设计一方“接手”修复、救济损害的责任,但它同时也允许接手之后责任的分摊,这就进入了第二层次。

第二层次是“安全性证明+风险基金补偿”。目前,已经有一些地方性法规鼓励企业设立自动驾驶社会风险基金,如《苏州市智能车联网发展促进条例》第42条规定,“鼓励智能车联网相关主体联合设立智能车联网社会风险基金,对因相关事故遭受人身、财产损失的受害者,因责任无法认定等原因不能及时得到赔偿时,先予补偿”;《上海市浦东新区促进无驾驶人智能网联汽车创新应用规定》第30条规定,“鼓励相关行业组织、企业等联合设立风险基金”。目前所设立的风险补偿基金在承担补偿责任时均需满足附加条件,即“责任无法认定等原因无法及时得到赔偿”,实际上是将风险补偿基金定位为无责任人时的替代性补偿机制。但本文认为,当测试合格的自动驾驶软件仅仅因为过高的假阴性率而发生事故时,依然应当由风险补偿基金承担替代责任以救济受害者,原因在于,这种风险是与自动驾驶这项集体性事业的特征相适应的一种风险,一种其成本需要被整个行业所消化的风险。换句话说,倘若汽车行业乃至整个社会都从事故基础率更低、预测误差率更低的自动驾驶技术那里获得了收益,那么这项技术产生的不可避免的成本就应当由整个行业乃至全社会来消化,风险基金实际上就是这种“集体责任观”的落实——它允许合格自动驾驶软件的生产者通过购买风险基金将剩余风险成本分摊给行业,而购买风险基金的成本又可以通过定价机制等方式转嫁给上下游供应商、消费者、企业员工以及股东等主体。

只不过,风险基金补偿不是在所有情况下都适用,只有当被告通过统计型证据举证证明软件的事故基础率和预测误差率符合行业要求(也称为“达到自动驾驶算法的安全门槛”,或者“产品的风险基准和市场准入门槛”),因此已尽可能避免可预见的风险时,才由风险基金承担“剩余风险”,对原告的损失予以补偿。若被告不能证明软件具有合格的性能,或者统计型证据指向的结论是,该款自动驾驶软件与人类驾驶相比并未更安全(或者在性能上远不如同类产品),则仍应由其承担损害责任,原因有两个:第一,这一做法可驱使人工智能提供者开发更安全的人工智能软件;第二,考虑到风险基金由相关企业联合设立,若某一企业“懈怠”的后果最终由其他企业共同分担,对其他企业不公允。

结语

人工智能对法律责任尤其是侵权责任体系带来的重大挑战是,我们无法将“过错”“缺陷”等法律概念不加变动地迁移至诸如自动驾驶这样的场景,由于模型决策函数的不透明性,必须借助自动驾驶软件在真实世界的长期表现来评估其安全性,体现为低事故基础率、低预测误差率以及低假阴性率的“三低”状态,但三者实则无法同时得到实现,为了让事故基础率和预测误差率达标以保障公共安全,必须容忍模型较高的假阴性率,在司法上表现为排除假阴性率与损害之间的因果关系。由此,在人工智能领域,我们不再能够有意义地谈论纯粹的“缺陷”。问题是,在“缺陷”概念缺席的情况下,如何能够合理地设计责任规则?有两个考量因素:第一,人工智能安全事故中的受害者实际上应被视为智能技术普及进程中的牺牲者,从无过错责任中“获利者承担风险”的原理看,应当由该事业的直接受益者,即人工智能相关行业,作为责任主体填补其损失;第二,对于人工智能模型而言,个例中的改进与整体中的改进之间的连接机制是不透明的,倘若我们将整体改进视为更重要的事情,就必须在两者冲突时,将模型的整体性能表现作为开发者、提供者的免责事由。为此若要设计责任规则,一方面,不得让受害者(使用者)承担损失,无过错责任因此成为唯一的制度选项;另一方面,评估提供者责任时,应当区别对待,对于履行模型整体安全性证明义务的被告人,可通过风险基金补偿机制免除其责任,未履行该义务的,则须使其自行承担责任。

-向上滑动,查看完整目录-

《政治与法律》2026年第2期目录

【习近平法治思想研究】

1.构建中国自主的法学知识体系的“自主性”特征考察

莫纪宏

【主题研讨——刑法功能主义趋势下“义务”理论的发展】

2.刑法学论争的缓和与刑法功能主义

周光权

3.刑法归责中的支配、能力与义务

陈璇

4.义务犯理论的规范基础与功能界限

何庆仁

【专论】

5.浮动抵押的“空置”困境与物联网监管转型

赵申豪

6.存在超部门法的一般性法理学吗

——反思法学知识一般化的限度

张峰铭

【争鸣园地】

7.AI声音权益的法律性质与保护路径

汪倪杰

【实务研究】

8.告别“缺陷”:人工智能致损无过错责任的法理根据

徐舒浩

9.论变通规定的制定规则

陈舒筠

【史论】

10.中国古代强奸罪的构成及认定

殷啸虎

11.被法律型塑的日常生活:以南京国民政府和根据地政权为中心

侯欣一

《政治与法律》是上海社会科学院主管、上海社会科学院法学研究所主办的,把政治学和法学融于一炉、以法学为主的理论刊物。《政治与法律》恪守“研究政法理论,推动法制建设”的编辑方针,设有“热点问题”、“法学专论”、“经济刑法”、“立法研究”、“学术争鸣”、“案例研究”等栏目;积极推出国内外法学研究的最新成果。

点击进入下方小程序

获取专属解决方案~

责任编辑 | 郭晴晴

审核人员 | 张文硕 张科

本文声明 | 本文章仅限学习交流使用,如遇侵权,我们会及时删除。本文章不代表北大法律信息网(北大法宝)和北京北大英华科技有限公司的法律意见或对相关法规/案件/事件等的解读。