贝叶斯置信传播神经网络：原生可解释的可信类脑框架
Native Explainability for Bayesian Confidence Propagation Neural Networks: A Framework for Trusted Brain-Like AI
https://arxiv.org/pdf/2605.11595
摘要
欧盟《人工智能法案》（条例2024/1689）自2026年8月起全面适用于高风险系统，这对同时具备可信赖性、透明性，且能够在资源受限的边缘设备上可行部署的人工智能架构产生了迫切需求。基于贝叶斯置信传播神经网络（BCPNN）形式构建的类脑神经网络已重新成为反向传播驱动的深度学习的可信替代方案。它们提供了最先进的无监督表示学习、对神经形态计算友好的稀疏性，以及针对边缘部署的现有FPGA实现。尽管有此发展势头，但目前仍缺乏用于解释BCPNN决策的系统性框架——本文填补了这一空白。我们认为，在Rudin“设计即解释”议程的意义上，BCPNN是一种内在透明的模型，其架构原语可直接映射到既有的可解释人工智能（XAI）类别。本文作出四项贡献。首先，我们提出了首个面向BCPNN的XAI分类体系。它将权重、偏置、超列后验概率、结构可塑性使用评分、吸引子动力学以及输入重构群体映射到归因、原型、概念、反事实及机制解释模式上。其次，我们引入了十六个架构级解释原语（P1–P16），其中多个在标准人工神经网络中没有对应物。我们提供了闭式算法，用于从模型已维护的量中计算每一个原语。第三，我们引入了五个设计时的“配置即解释”原语（Config-P1至Config-P5），将BCPNN超参数选择视为可审计的部署前解释工件。第四，我们勾勒了将其集成到工业物联网部署中的路线图，并讨论了与欧盟《人工智能法案》的对齐、边缘可行性以及对工业5.0的意义。
索引词——可解释人工智能，BCPNN，类脑神经网络，神经形态计算，边缘AI，欧盟《人工智能法案》，工业5.0，赫布学习，可解释性，可信赖人工智能
I. 引言
物联网（IoT）、人工智能（AI）与信息物理系统的融合正在重塑工业决策。欧洲工业5.0范式倡导一种以人为本、可持续且具有韧性的技术转型，其中人工智能系统旨在增强而非取代人类专业知识[1]。这些系统必须在严格的能耗预算下于边缘端运行，同时满足日益增长的关于透明度的监管期望。欧盟《人工智能法案》（条例 (EU) 2024/1689）于2024年8月生效。第13条规定，高风险人工智能系统应“以使其运行足够透明的方式进行设计与开发，从而确保部署者能够解读系统输出并予以恰当使用”[2]。该法案将于2026年8月起全面适用于高风险系统。
这一监管时间线与两项技术趋势发生碰撞。一方面，深度学习模型已扩展至安全关键领域，同时除最复杂的事后分析外，它们对所有人而言仍然不透明[3], [4]。另一方面，神经形态计算与类脑计算已成熟为可行的替代方案，其原生实现了稀疏性、局部性与概率推理[5], [6], [7]。在这些方案中，贝叶斯置信传播神经网络（BCPNN）[8], [9], [10]脱颖而出。它基于贝叶斯推理，通过局部赫布规则进行学习，通过超列组织的软胜者通吃（WTA）竞争产生稀疏分布式表示，并在亚瓦级能耗预算的商业FPGA上运行[7]。
尽管有此发展势头，目前仍不存在用于解释BCPNN决策的系统性框架——本文填补了这一空白。
贡献。我们认为，在Rudin“设计即解释”议程[11]的意义上，BCPNN是一种内在透明的架构。每个权重均为逐点互信息，每个偏置均为对数先验，每个超列输出均为针对离散属性的校准后验概率，而稀疏的斑块状连接性则源于由互信息驱动的结构可塑性规则。因此，主流的可解释人工智能（XAI）类别（归因、原型、概念、反事实、机制）要么开箱即用，要么只需极小的适配即可得到支持。
• 原生XAI分类体系。我们提出了首个面向BCPNN的系统性XAI分类体系，该体系沿近期综述[3], [12], [13]所确立的（范围、阶段、模型依赖性）轴进行组织。
• 十六个架构级原语。我们识别出十六个BCPNN专用的解释原语（P1–P16），其中多个在标准人工神经网络中无直接对应物。我们提供了闭式算法，用于从模型已维护的量中计算每一个原语。
• 配置即解释。我们引入了五个设计时原语（Config-P1至Config-P5），将BCPNN的超参数选择视为可审计的部署前解释工件，从而能够在训练开始前生成符合欧盟《人工智能法案》第13条的合规文档（第五节）。
• 路线图。我们勾勒了将其集成至工业物联网部署的路线图，并包含与欧盟《人工智能法案》的对齐分析及边缘可行性分析（第六节）。
本文结构如下。第二节回顾XAI分类体系与BCPNN形式体系。第三节呈现所提出的映射。第四节给出计算各架构级原语（P1–P16）的算法。第五节引入“配置即解释”原语。第六节探讨监管与边缘部署的影响。第七节阐明开放性挑战。第八节总结。
II. 背景与相关工作
A. 可解释人工智能：类别与分类体系
现代可解释人工智能（XAI）综述在组织解释方法的三个正交轴上达成共识：范围（局部与全局）、阶段（内在与事后），以及模型依赖性（特定模型与模型无关）[3], [4], [12], [13]。在这些轴内，五个方法家族在文献中占据主导地位。
归因方法为每个输入特征分配一个重要性分数以进行预测；代表性方法包括SHAP [14]、LIME [15]、积分梯度 [16]、逐层相关性传播 [17] 和 DeepLIFT [18]。也已开发出适配时间序列的归因方法，结合LIME和Grad-CAM用于多变量信号[19]。
基于原型的方法通过与学习到的范例的相似性来解释决策；ProtoPNet [20] 引入了“这看起来像那个”范式。
基于概念的方法将预测建立在人类可解释的变量上。TCAV [21] 量化沿用户指定概念方向的敏感性；概念瓶颈模型 [22] 在输入和输出之间结构上强制执行概念层，并引发了关于概念泄漏 [23] 的大量后续工作。
反事实解释回答“什么输入改变会改变决策？”；Wachter等人 [24] 将该方法建立在GDPR第22条的解释权基础上，欧盟《人工智能法案》的第13条进一步强调了其对高风险决策的相关性。
机制可解释性将密集激活分解为稀疏的、单语义的潜在代码。稀疏自编码器 [25] 已成为从大型Transformer中检索可解释特征的主导工具，但它们计算量大且属于事后方法。
该文献中的一个反复出现的观察是，对于高风险决策，内在的、特定模型的可解释性优于事后的代理模型 [11], [22]。我们将BCPNN坚定地定位在这一阵营。
B. 贝叶斯置信传播神经网络
BCPNN起源于Lansner和Ekeberg对贝叶斯-赫布学习规则的推导 [8]，并已被逐步扩展以支持吸引子动力学 [9]、生物物理细节 [10]，以及在标准基准测试上具有竞争力的准确性的现代无监督表示学习 [5], [6]。近期在SpiNNaker [26]、FPGA [27], [7] 和嵌入式平台上的神经形态实现已将BCPNN带入边缘部署不再仅仅是理论的领域，在嵌入式FPGA平台上实现了亚瓦级推理 [7]。
架构。 一个BCPNN层被组织为 H 个超列，每个包含 M 个微列。在每个超列内，活动通过软胜者通吃（soft-WTA）竞争进行归一化，
公式 (2) 将偏置表达为突触后微列的自信息（惊讶度）[5], [8], [9]。换言之，每个权重记录了突触前和突触后微列是共激活高于随机水平（正值）、统计独立（零值），还是相互回避（负值）。这正是 SHAP 和 LRP 试图通过昂贵的事后代理过程来估计的量；而 BCPNN 将其作为训练的副作用精确计算出来。
混合架构。 为了实现模式补全、知觉竞争和抗失真能力，混合 BCPNN 在隐藏群体（HID）中添加了层内循环连接，并添加了一个反馈群体（INPRC）以从隐藏表示中重构输入 [6]。循环动力学实现了基于吸引子的联想记忆。
脉冲变体。 一种直接的脉冲翻译 [6] 用泊松样本替换了基于速率的激活，并引入了 z-trace（突触前和突触后脉冲的短期滤波）和 p-trace（长期概率估计），它们在期望上恢复了基于速率的学习规则，从而使得在神经形态硬件上的部署成为可能。
C. 相关架构的可解释性
据我们所知，尚无已发表的研究为BCPNN提出系统性的XAI框架。最接近的相关工作包括：适配于脉冲神经网络（SNN）的特征归因方法[28], [29], [30]；概念瓶颈模型[22]，其架构模式与BCPNN的超列结构相匹配；以及基于稀疏自编码器的机制可解释性[25]，其单语义特征在概念上与BCPNN的微列相呼应。近期关于以用户为中心的XAI评估研究[31]进一步激励了针对每个属性进行因子化解释的思路。我们从这三条研究路线中汲取灵感，同时充分利用了这样一个事实：BCPNN的概率语义使得大多数适配工作变得不必要。
III. BCPNN的可解释性分类体系
我们现在阐述本文的核心论点：BCPNN的每个架构元素同时充当原生解释原语。表I总结了该映射关系；图1提供了示意图。
A. 为何BCPNN权重是解释而非参数
在标准人工神经网络（ANN）中，权重是一个不透明的标量，其解释依赖于周围网络的状态。在BCPNN中，公式(3)保证每个权重在构造上即为逐点互信息——对于高于随机水平的共现为正值，对于独立性为零值，对于负相关为负值[5]。由于逐点互信息正是SHAP [14]、LRP [17]和TCAV [21]试图事后估计的量，BCPNN将其作为训练的副作用直接计算出来，并且与作为对数先验的偏置(2)相结合，支持计算可读作贝叶斯对数似然更新[11], [24]。
B. 为何超列输出解决了校准问题
标准ANN可解释性中的一个持续问题是，softmax输出通常并非概率；现代深度网络系统性地表现出过度自信。在BCPNN中，公式(1)通过构造产生一个校准的离散后验概率，因为软胜者通吃（soft-WTA）动力学在BCPNN生成模型下实现了一个归一化的似然比检验[8], [9]。因此，每个超列报告其自身的每属性置信度，满足《人工智能法案》第13条关于系统传达“准确度水平”[2]的每属性基础要求。
C. 为何结构可塑性是内在特征选择
D. 为何微列是原型
在每个超列内部，软胜者通吃（WTA）竞争（1）确保了通常每个输入仅由单个微列主导。每个微列在数据分布上的激活轮廓——即关于输入状态的调谐曲线——表现为一个学习到的原型，在无需任何辅助原型损失的情况下，实现了ProtoPNet [20] 的“这看起来像那个”语义。困扰概念瓶颈模型 [22], [23] 的概念泄漏问题被软胜者通吃量化所抑制：未投射到主导微列的信息将被丢弃。
E. 为何吸引子动力学揭示了决策路径
在混合BCPNN中，循环动力学让网络状态从前馈驱动的初始估计演化为一个清晰的吸引子，而穿过状态空间的轨迹（P8）本身即是一种解释——一条漫长的振荡路径表明存在知觉竞争，而一条短促直接的路径则表明高置信度。INPRC反馈群体（P9）提供了一个分布内生成式反事实——即“网络认为输入应该看起来像这样”——在无需外部生成模型的情况下，满足了Wachter等人 [24] 提出的反事实解释要求。
IV.从BCPNN量计算解释
V.配置即解释：设计时的可信赖性
VI.讨论：可信赖性、边缘人工智能、工业 5.0
A. 与欧盟《人工智能法案》的对齐
欧盟《人工智能法案》第 13 条要求高风险人工智能系统具备足够的透明度，以便部署者能够“解读系统输出并予以恰当使用”，而第 14 条则要求有效的人类监督 [2]。BCPNN 原语直接映射到这些要求上：逐超列校准置信度（P3）支持“准确度水平”条款；结构可塑性图（P4, P5）支持“能力与局限性”条款；反事实解释（P9）和决策路径诊断（P8）支持可争辩性（contestability）[24]。“配置即解释”原语进一步提供了部署前的审计追踪（Config-P1, Config-P2, Config-P4），这是任何事后方法都无法产生的。因此，边缘端的合规开销极小。
B. 边缘可行性
诸如 SHAP、LIME 和稀疏自编码器等事后 XAI 流程通常在边缘端不可行，因为它们需要重复的前向传播、代理模型训练或大量的额外内存 [14], [15], [25]。我们的框架增加了零运行时成本：每个量已经在推理过程中计算完毕。最新的嵌入式 FPGA BCPNN 加速器在嵌入式平台上实现了亚瓦级推理 [7]，因此我们的框架继承了相同的能效特性。
C. 工业 5.0 与以人为本的人工智能
工业 5.0 强调人机协作优于自动化 [1]。BCPNN 的超列结构非常适合这一范式：每个超列对应一个人类可解释的属性，而逐超列的解释沿着领域专家可以审计或否决的轴对决策进行分解。与单片的特征重要性向量相比，这种分解更紧密地镜像了专家的推理过程。
D. 应用 vignettes（应用实例）
金融时间序列。 对于在金融指标上训练的 BCPNN，Config-P1 直接声明了一个本体——即在看到任何数据之前，针对 {波动率, 成交量, 动量, 价差, 情绪} 设置 H = 5 个超列。训练后，P11（模块化因子分解）产生逐属性的对数证据（log-evidence）；在一个说明性场景中，波动率超列可能对崩盘类别贡献 +1.8 nats，而成交量超列贡献 -0.3 nats。此类因子化解释是可审计的，并且符合 EBA（欧洲银行管理局）和 ESMA（欧洲证券和市场管理局）对自动化信贷和市场决策的期望，并且它们能与像 DeepVaR [33] 这样的风险感知模型自然集成，后者已经消耗逐通道的情绪和波动率信号 [19]。向非技术利益相关者对话式地传递这些解释已在 HumAIne-Chatbot 部署中得到展示 [34]，而对 resulting workflow（结果工作流）的以用户为中心的评估遵循 VirtualXAI [31] 的协议。
物联网传感与网络安全。 对于多模态传感器数据，结构可塑性图（P4）揭示了网络已学会依赖哪些传感器通道，从而支持传感器剪枝和故障诊断。相同的原语可迁移至网络防御监控，其中逐通道证据分解已被证明能提高分析师的信任度和分诊时间 [35]。
VII. 开放挑战与未来工作
四重挑战仍然存在。
(i) 扩展性与抽象性。 架构层面的原语在超列（hypercolumn）数量上呈线性关系，但对于深度BCPNN堆栈而言，解释图的人类可解释性——包括P4/P5使用图和P8吸引子轨迹——可能会下降；需要原则性的抽象层、概念层次结构以及Config-P2效率监控，以在规模化时保持解释价值。
(ii) 忠实性验证。 尽管每个原语都是从模型用于推理的量计算得出的，但应在完整规模的BCPNN系统上，与运行生产级BCPNN部署的合作伙伴共同测量形式化的忠实性指标。
(iii) 用户研究。 解释质量是一个人机交互因素问题 [36]。应与临床和金融领域的领域专家进行对照研究，就决策时间、准确性和信任校准等方面，将每超列解释与SHAP和LIME进行基准比较。
(iv) 新原语的经验验证。 原语P12–P16是分析推导得出的，但尚未在完整规模的BCPNN部署上针对标准基线进行基准测试；与维护大规模BCPNN系统的合作伙伴进行联合验证是直接的下一步工作。
VIII. 结论
我们论证了贝叶斯置信传播神经网络（Bayesian Confidence Propagation Neural Network, BCPNN）按其构造是一种"设计即可解释"的模型，其架构原语直接对应于主流的可解释人工智能（XAI）家族。我们提出了首个面向BCPNN的XAI分类法，将其结构元素映射到归因（attribution）、原型（prototype）、概念（concept）、反事实（counterfactual）和机制（mechanistic）等模态。我们引入了十六个架构层面的解释原语（P1–P16），其中若干在标准人工神经网络中没有对应物，每个原语均可从网络已维护的量以闭式形式（closed form）计算得出。我们进一步引入了五个设计时的"配置即解释"原语（Config-P1至Config-P5），将BCPNN的超参数选择转化为部署前的审计工件，在训练开始之前即满足欧盟《人工智能法案》第13条的文档要求。我们勾勒了将其集成到工业物联网部署中的路线图，并进行了边缘可行性分析与工业5.0对齐分析。综上所述，这些贡献为实现同时具备可信赖性、透明性，且在欧盟《人工智能法案》框架下可在边缘侧可行部署的AI系统提供了一条可信路径。
原文链接：https://arxiv.org/pdf/2605.11595
热门跟贴