因果和组合抽象
Causal and Compositional Abstraction
https://arxiv.org/abs/2602.16612
摘要
从低层次向更具解释力的高层次描述进行抽象,且理想情况下需保持与变量各自因果结构的一致性,这可以说是科学实践、因果推断问题以及构建鲁棒、高效且可解释的人工智能的基础。我们将低层次与高层次模型之间的抽象作为一种自然变换提出了一般性解释,并重点关注因果模型的情形。这为因果抽象提供了一种新的形式化方法,统一了文献中的几个概念,包括构造性因果抽象、Q-τ一致性、基于交换干预的抽象,以及“分布式”因果抽象。我们的方法在范畴论的框架下进行了形式化,并利用组合模型的一般概念,在幺半范畴、cd-范畴或马尔可夫范畴中给定一组查询和语义;因果模型及其查询(如干预)则是其特例。我们确定了两种由自然变换描述的基本抽象概念:向下抽象,应用于抽象的图示查询,将其从高层次映射到低层次;以及向上抽象,应用于具体的查询(如特定的Do-干预),将其从低层次映射到高层次。尽管通常被表述为后者,但我们展示了因果抽象的常见概念如何能够更根本地被理解为前者。在这两种情况下,我们的范畴论方法都有助于将(因果)抽象的结构本质凸显出来。它还促使我们考虑一种新的、更强的“组件级”抽象概念,该概念不仅适用于查询,还适用于模型的各个独立组件。特别是,这在机制层面产生了一种新颖且增强的构造性因果抽象形式,我们为此证明了相关的刻画结果。最后,通过将研究推广到因果情形之外,我们表明可以为其他组合模型定义抽象,包括由量子电路实现的具有量子语义的模型;并且我们迈出了探索量子组合电路模型与高层次经典因果模型之间抽象的第一步,以此作为开发可解释量子人工智能的一种手段。
1 引言
抽象掉细节以便用具有解释力的高层次概念进行推理,是人类认知和科学实践的标志性特征;从气体的微观描述与热力学描述的对比,到从气候数据或医学扫描中提取宏观变量,一直到经济学。在每一种情况下,以及几乎所有科学实践情境中,抽象问题都与因果性和因果推理问题相互交织。
过去十年间,若干工作[CEP17, RWB`17, BH19, BEH20, MGIB23, GIZ`23]已将这一直觉通过因果抽象的概念精确化。这些工作从因果模型框架[Pea09]出发,该框架在给定的抽象层次上形式化因果模型和推理。当存在一个从低层变量到高层变量的抽象映射τ,以及每一层干预之间的关系,使得高层干预相对于低层干预在因果上一致时,一个“高层”因果模型H便与一个“低层”因果模型L处于因果抽象关系之中。
因果抽象在从因果推断到人工智能和哲学等领域中,因其基础性和实用性原因正受到越来越多的关注。尽管假设、目标和因果模型形式各不相同,但在每种情境中都需要同一个基本关系。至少有三种不同的情境推动了对其的研究。首先,是对因果可识别性问题的推广,其中我们的因果假设和感兴趣的量所处的层次与我们所拥有经验数据的层次不同。在这种情况下,低层因果模型是(一个近似于)真实模型的模型,而我们既无法获取该真实模型,通常也不关心它。例子包括从天气现象到人脑等各种问题[CEP16, CEP17, XB24, HLT25]。与此相关,抽象对于种族歧视的因果研究也至关重要,以避免因错误混合不同抽象层次的相关项而导致的“模块性丧失”[MSEI25]。
其次是人工智能和深度学习中的可解释性与解释性研究。同样,这里的目的是将一个复杂且不透明的低层模型(如神经网络)与一个人工可解释的高层模型联系起来。然而,现在的低层模型是完全已知的,不被视为(真实模型的近似),而是为某项任务训练的计算模型,该模型可能明确是因果的,也可能不是;然而,与一个明显可解释的高层因果模型之间的抽象关系可以提供一种金标准式的可解释性。若干工作已针对事后XAI方法对此进行了研究[GRP20, GLIP21, HT22, Bec22, WGI`24, GWP`24, GIZ`23, WGH`24, PMG25],其中[GIZ`23]实际上主张,机制可解释性中的任何方法最好都从因果抽象的视角来理解。抽象也被用于非事后XAI,作为一种归纳偏置来获得设计上可解释的模型[GWL`22]。此外,它还被认为可以为更一般的计算解释提供一种说明[GHI25]。
第三个是因果表征学习问题,其目标是从“原始”的低层数据中直接获得已学习到适当因果变量和关系的AI模型,而无需(全部)关于这些变量的适当维度或数量的信息。这推广了因果发现和其他形式的(解耦)表征学习,并且被认为对于AI中的鲁棒性和强泛化性至关重要[SLB+21]。越来越多的研究工作探索了其理论和实践(不)可能性问题,通常依赖因果抽象作为关键要素[BDHLC22, YXL+23, KSB23, YRC+24, KGSL, LKR25, ZMSB24]。与此相关,已有研究表明,具身AI依赖于在正确抽象层次上学习了因果结构的真实世界模型[GGM+24, RE24, REA25]。
一种用于抽象的语言。尽管抽象构成了科学中一个基础且核心的概念,但目前尚无统一的形式化体系来刻画因果抽象,对于一系列密切相关的抽象概念中哪些适用于何种情境也缺乏共识。无论是未来的抽象理论还是实验研究,都需要一种恰当的概念语言。
如今,因果推理的核心在于句法层面的因果结构与语义层面的概率数据之间的相互作用,而抽象则关乎某一细节层次的模型如何与另一层次的模型相关联。范畴论是关于过程、结构与组合的数学[Coe06, Lei14];它恰恰是把结构层面及其相互关系置于前沿,从而能够被直接研究的语言。事实上,范畴天然适合描述模型的结构——通过幺半范畴和弦图的直观图形语言[PZ25, LT23, TLC+24],也适合描述模型之间的关系——通过经典的函子和自然变换概念[ML13]。
[LB21]在[JKZ19, FK23]的基础上,给出了因果模型框架的范畴论表述,并使用了弦图。在[TLC+24]中,该方法被推广到更一般的组合模型,通过从结构到语义的函子来指定,并表明包括因果模型在内的广泛AI模型都可以用这些术语来表达。
在本工作中,我们扩展了这一方法,为因果抽象给出了精确且一般的形式化,并发现抽象的本质可以在具有给定查询集的组合模型层面上得到更一般的表达。更确切地说,我们表明抽象可以在范畴论上形式化为模型之间的自然变换:
更具体地说,我们的贡献如下:
抽象的抽象化(Abstraction abstractly):我们给出了具有给定查询集(query sets)的组合模型之间抽象的一般性定义,并表明这作为特例包含了文献中的许多因果抽象概念,例如构造性抽象(constructive abstraction)[BH19]、精确变换(exact transformations)[RWB+17]、“Q−τ-一致性”[XB24],以及“分布式”抽象[GIZ+23, GWP+24]。
图的力量(The power of diagrams):我们表明,每种形式的(因果)抽象的一致性条件都可以直接表达为弦图(string diagrams),从而将其本质置于核心位置。
上行与下行(Up and down):我们发现实际上存在两种基本的抽象类型:一种将查询从低层映射到高层,另一种从高层映射到低层;我们发现,虽然通常以前一种“具体”类型来呈现,但许多范式性因果抽象概念的本质实际上在于后一种更具结构性的类型。
一般干预(General interventions):我们提供了对因果抽象的统一处理,允许更一般的干预(不局限于Do-干预),并且这使得我们能够给出一个精确的分布式因果抽象概念(与例如[MGIB23, GIZ+23]一致)。
一个新的、更强的概念(A new, strong notion):我们引入了组件级(component-level)抽象,这在范畴论视角下是自然的,并且在因果情形下产生了一个新的更强的机制级(mechanism-level)构造性抽象概念,这提出了新的问题,并且我们在数学上对其进行了刻画。¹
量子推广(Quantum generalisation):将抽象扩展到组合模型,使我们能够为量子组合模型(例如基于量子线路的模型)引入抽象的定义,并且我们以此为契机,开启对可解释量子人工智能的量子抽象研究。
相关工作。不采用范畴论视角的具体因果抽象概念已在若干工作中得到了形式化定义,我们的观点主要基于[RWB+17, BH19, GIZ+23, XB24],其中我们重点关注后三者。(另请参阅[Zen22, Zha24]的综述。)
我们的方法建立在将结构化(AI)模型描述为用弦图表示的组合模型的理论基础之上,例如,这构成了(Q)NLP中的DisCo模型[CSC10, Coe21, WMLC23]以及‘discopy’和‘Lambeq’Python工具包[dFTC20, KFY+21]的基础。在这个框架中,因果模型的描述建立在[JKZ19, FK23]的基础上,并在[LT23]中得到了详细阐述。[TLC+24]给出了将广泛的AI模型视为组合模型的广义观点,以及可解释组合结构对于XAI的优势(另见[dF22])。在这里,我们扩展了这种方法,不再仅仅将模型描述为函子,我们现在看到将模型间的关系描述为自然变换,确实导出了在文献中独立产生的有意义的抽象概念。
因果抽象应当形成视为马尔可夫函子(Markov functors)的因果模型之间的自然变换这一思想,也在Englberger和Dhami的工作[ED25]中被独立地捕捉到,我们推荐作为进一步阅读。他们的定义在经过必要的修正后,实际上对应于机制级构造性因果抽象的特例,我们在附录C.1中详细概述了这一点。我们基于查询的方法使得构造性抽象与其机制级版本之间的差异变得显而易见,并结合我们的向上抽象(upward abstraction)概念,使我们能够统一更广泛的进一步抽象,包括反事实抽象、精确变换、完全形式化的分布式抽象概念以及量子推广。
在[OS22]中,作者们也研究了使用自然变换的因果抽象的一种更受限的形式,然而它最适合于“等价”模型而非真正的抽象。我们的方法严格来说更具一般性,并涵盖了已知的因果抽象形式。
同样相关的还有[RW21]的工作,它在富范畴(enriched categories)的语言中研究了抽象关系的复合,特别是误差界限在复合下的行为。
最后,一系列工作[DLB25, DB25, DZFDL25, DDLB26]等,也以自然变换的形式形式化了特定类别SCMs之间的抽象。然而,他们将因果模型形式化为函子的方式与我们的不同,即与[LT23, JKZ19, FK23]不同,他们捕捉的抽象概念(即α-抽象[Ris20])也不同。在未来的工作中,更全面地理解与这种方法的联系将会很有趣。
1.1 概述
现在让我们对我们的抽象理论给出一个高层次的概述。回想一下,对称幺半范畴 C由一组对象以及它们之间的过程组成,我们可以使用图形化的弦图(string diagrams)来组合这些过程。对于因果模型,我们使用有限集以及它们之间的概率通道(随机矩阵)所构成的范畴 FStoch,这形成了一个马尔可夫范畴(Markov category),带有特异的“复制”(copy)和“丢弃”(discard)过程[Fri20]。在第2节中,我们将介绍关于范畴论和弦图的必要背景知识。
量子抽象。在组合模型层面定义抽象,使其能够应用于“经典”因果模型之外,特别是应用于具有量子语义的组合模型。我们现在可以考虑这样一种情况:我们的低层组合模型 L 具有由量子线路给出的输入-输出过程,如下面的简单示例所示,其中细线表示经典输入和输出,粗线表示量子系统(如量子比特)。这里 E 是一个从经典输入到量子比特的编码器,U、V 是酉门,上方的方框表示测量。
2 范畴与弦图
3 组合模型与查询
现在我们可以定义本文将要考虑的模型的一般形式。首先,我们通过如下方式指定它们的抽象结构来开始。
现在我们可以定义在范畴中对这种结构进行建模意味着什么。以下概念在这项工作中占据核心地位。
。。。。。。。。。
原文链接:https://arxiv.org/pdf/2602.16612
热门跟贴