LEARNING CONSISTENT CAUSAL ABSTRACTION NETWORKS

学习一致的因果抽象网络

https://arxiv.org/pdf/2602.02623

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

摘要:

因果人工智能旨在通过利用结构因果模型(SCMs)来增强人工智能的可解释性、可信度和鲁棒性。在此方向上,近期的进展形式化了因果知识的网络层(sheaves)和余层(cosheaves)。沿着相同的方向推进,我们致力于学习一致的因果抽象网络(CAN),这是一种基于层论的框架,其中:(i) SCMs 为高斯分布;(ii) 限制映射是遵循语义嵌入原则的构造性线性因果抽象(CAs)的转置;(iii) 边茎(edge stalks)在置换意义下对应于更详细 SCMs 的节点茎(node stalks)。我们的问题表述分离为特定于边的局部黎曼问题,并避免了非凸目标函数。我们提出了一种高效的搜索过程,使用 SPECTRAL 求解局部问题,这是一种具有闭式更新的迭代方法,适用于正定和半正定协方差矩阵。在合成数据上的实验表明,在因果抽象学习任务中具有竞争力的性能,并成功恢复了多样的 CAN 结构。

索引术语——因果抽象,因果人工智能,网络层,斯蒂费尔流形,结构因果模型。

1. 引言

因果人工智能 [1] 是人工智能领域中一个新兴范式,旨在提高可解释性、可信度以及对领域和分布偏移的鲁棒性。其核心是结构因果模型(SCM,[2]),其中因果变量通过因果机制来描述,即来自其他变量的传入因果关系。通过支持干预和反事实推理,SCM 支撑了 Pearl 因果层级 [3] 的三个层次——观察(seeing)、行动(doing)和想象(imagining)——从而超越了纯粹预测性和特定任务的人工智能。因此,SCM 在因果变量上诱导出一组观测、干预和反事实概率测度,下文统称为因果知识(CK)。

在此追求中,并考虑到代理式人工智能(Agentic AI)[4] 中核心的协作维度,D’Acunto 和 Battiloro [5] 提出:“SCMs 是对世界的主观且不完善的表征,无法与其所处的关系网络割裂开来”。这推广了经典设定,即在经典设定中,主体(例如,AI 代理、个体、卫星)被假设与真实 SCM 存在双射关系,并能直接访问该真实 SCM。此外,SCM 本质上与一种视角相关联,该视角由其在这张关系网络中的位置决定。主观 CK 通过干预一致的因果抽象(CA)[6, 7] 映射及其对偶映射在网络中传播,最终导致相对 CK 的定义:简而言之,即“从主体 B 的视角来看的主体 A 的 CK”。

上述构造通过函子构造形式化,称为 CK 的网络层(network sheaf)和余层(cosheaves)[5]。在此,CK——表示为概率测度的凸空间 [8]——附着在网络的节点和边上,而仿射可测映射对应于节点-边的关联关系。前者称为节点茎(node stalks)和边茎(edge stalks),后者称为限制映射(对于层)和扩展映射(对于余层)。这种新颖的函子框架有望开启这样的人工智能系统:全局 CK 从因果 AI 代理的交互中归纳涌现,而代理层面的局部 CK 反过来可以由系统演绎地塑造。我们的工作朝此方向迈进,专注于学习该框架的一个特定实例,即因果抽象网络(CAN,[9])。

相关工作。我们在 [10] 的设定下工作,具体而言不假设:(i) SCMs 的完整规范;(ii) 对其因果图的知晓;(iii) 其函数形式;(iv) 干预数据的可用性;或 (v) 联合采样的观测数据。与 [5] 一样,我们将 CAs 视为 SCMs 之间的映射,并采用 a-抽象框架 [7]。详细来说,我们关注遵循语义嵌入原则(SEP,[10])的构造性线性因果抽象(CLCAs,[6, 11]),该原则非正式地指出,当高层 CK 嵌入到低层时必须保持不变。我们的问题表述建立在 [10] 中的定理 2.1 之上,该定理侧重于层论框架之外的 CLCA 学习。最后,[9] 代表了本文的扩展版本,引入了 CAN 框架并研究了其理论性质。

贡献。给定来自主观 SCMs 的高斯测度集合,我们制定了学习一致 CAN 的问题。我们的表述分离为特定于边的局部问题,对应于 CLCA 学习任务。针对这些问题,我们提出了 [10] 的替代方案,避免了非凸目标函数,并明确刻画了最优 CLCAs 的集合。我们的解决方案是一种基于定理 2.1 和 CLCAs 组合性的高效搜索过程。该过程采用黎曼方法 SPECTRAL 迭代求解局部问题,并进行闭式更新。与 [10] 中的方法不同,SPECTRAL 适用于正定和半正定协方差矩阵。后者对于全局截面尤其相关,全局截面是指分配给网络每个节点的概率测度(无论是观测的还是干预的)的一致赋值,且不破坏局部规则 [5]。合成数据上的实验表明,在从正定协方差学习限制映射时,SPECTRAL 的性能与 [10] 中的方法相当。此外,当观察到全局截面时,即当提供半正定协方差作为输入时,我们的搜索过程成功恢复了不同的 CAN 结构。我们的工作迈向因果抽象网络的实用学习,在代理式和协作式人工智能系统中具有潜力。

2. 因果抽象网络入门

本节介绍一致因果抽象网络(CANs)的符号表示和关键概念。如需全面了解,请参阅 [9]。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

3. 学习因果抽象网络

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

然后,我们通过 ADMM [16],针对原始变量迭代地最小化式 (7),并针对对偶变量最大化式 (7)。值得注意的是,原始变量具有闭式更新。对偶变量则是原始残差的规范累加和。V 的更新。考虑第 k 次迭代。需要求解的子问题为:

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

4. 实证评估

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

总而言之,这些结果表明,在将正定协方差作为输入学习 CLCA 时,SPECTRAL 取得了与 [10] 中方法相当的性能,同时避免了非凸的、昂贵的优化目标,并提供了闭式更新。

打开网易新闻 查看精彩图片

图 2 展示了结果。不同的 ntrials 值以红色调给出,而垂直条表示 S S次模拟的四分位距。尽管定理 2.1 成立,FPR(左)证实 SPECTRAL 在真实值中不存在 CLCA 时从未识别出 CLCA。这在所有设置和 ntrials 值下均成立。相反,TPR(右)依赖于 ntrials。正如预期,由于非凸性,初始化很重要,因为在最大 K 次迭代内可能无法达到残差收敛。总体而言,结果证实,当 ntrials = 100 时,我们配备 SPECTRAL 的搜索过程在所有设置下均实现了接近最优的 TPR。

打开网易新闻 查看精彩图片

5. 结论与未来工作

本文为协作式因果 AI 系统的原则性基础迈出了一步。我们研究了一致 CAN 的学习——这是一个层论(sheaf-theoretic)框架,其中主观高斯 SCM 通过 CLCA 的转置进行对齐与胶合。我们的问题公式化避免了非凸目标的优化,其解是一个使用局部黎曼方法 SPECTRAL 的高效搜索过程,并具有闭式更新。与先前方法不同,SPECTRAL 同时适用于正定和半正定协方差矩阵,即使在我们观测到全局截面时也能恢复 CAN 结构。合成数据上的实验证实了我们方法的有效性,在 CA 学习中达到了现有方法的性能,并成功检索出 CAN 结构。

许多理论结果因篇幅限制被省略,但可在本文的扩展版本 [9] 中获取。值得注意的是,它们强调了拓扑的影响,这在某些情况下会阻止全局截面的存在。开发方法学,使得对于给定拓扑,能够恢复诱导相同 CA 集合的最稀疏结构——并对其进行最小修改以支持全局截面——是一个重要的未来步骤。另一个重要方面涉及真实 CLCA 的可识别性。在 [10] 的一般设置下工作,我们只能通过结构先验保证所学映射的结构干预一致性。今后确保反事实一致性 [17] 很重要,尽管这可能需要对干预数据和反事实数据的可用性。最后,超越合成和混合设置对于全面评估 CAN 在现实场景中的潜力至关重要。总体而言,这对层论框架 [5] 来说是一个关键方面,特别是因为现实世界的应用仍然在很大程度上缺失。

原文链接:https://arxiv.org/pdf/2602.02623