超图神经随机扩散：一种用于不确定性估计的随机微分方程框架

超图神经随机扩散：一种用于不确定性估计的随机微分方程框架

Hypergraph Neural Stochastic Diffusion: An SDE

Framework for Uncertainty Estimation

https://arxiv.org/pdf/2607.07330

本文已提交至IEEE以供可能发表。版权可能在未经通知的情况下进行转让，此后本版本可能不再可访问。摘要——超图神经网络在建模高阶关系方面展现了强大的能力，然而其预测不确定性仍未得到充分探索。与成对图不同，超图中的不确定性不仅源于噪声属性和模糊标签，还源于节点-超边关联结构的变化以及复杂的高阶依赖关系。现有方法主要从最终预测中估计不确定性，或依赖于计算成本高昂的集成方法和贝叶斯推断，这限制了它们在表示学习过程中捕捉不确定性演变的能力。在本文中，我们提出了超图神经随机扩散（HyperNSD），一个用于超图不确定性估计的随机微分方程框架。HyperNSD将超图表示建模为在节点-超边关联结构上演进的随机过程。一个可学习的漂移函数捕捉确定性的高阶扩散动力学，而一个可学习的随机强迫函数则表征结构模糊性和表示噪声。预测不确定性通过随机表示轨迹的变异性被直接量化，提供了一种超越事后置信度分数的内在不确定性度量。我们利用神经漂移网络和扩散网络来构建HyperNSD，实现了预测与不确定性传播的联合学习。理论分析确立了所提出的随机动力学的适定性、扰动稳定性、排列等变性和数值收敛性。在多个超图基准测试上的实验表明，HyperNSD在保持具有竞争力的预测准确率的同时，实现了用于分布外检测和误分类检测的可靠不确定性估计。这些结果为可信的高阶表示学习提供了一个具有理论依据的随机动力学框架。

索引术语——超图神经网络，不确定性估计，超图神经随机扩散

I. 引言

超图为涉及高阶关系的复杂系统提供了一种自然的表示，其中一次交互可以同时连接两个以上的实体。

与普通的成对图不同，超图通过超边显式地编码群组级依赖关系，因此非常适合对社交网络、生物系统、推荐和脑网络分析中的关系模式进行建模[1]–[4]。受这种表达能力的启发，超图神经网络（HGNNs）被开发出来，将图神经消息传递从成对边扩展到节点-超边关联结构[5]–[9]。通过在节点和超边之间聚合信息，这些模型在各种预测任务中取得了极具前景的性能。尽管它们取得了实证上的成功，但现有HGNNs的预测可靠性仍未得到充分探索。大多数HGNNs被构建为确定性表示学习模型：给定一个超图和节点属性，它们通过堆叠的传播层产生一条单一的确定性表示路径和一个单一的预测分布[5]–[7]。这种确定性行为在高风险应用中是有问题的，在这些应用中，模型不仅被期望做出准确的预测，还被期望指出其预测何时不可靠[10], [11]。这个问题对于超图学习尤为重要，在超图学习中，不确定性可能源于属性级噪声、标签空间模糊性、节点-超边关联模式的变化以及高阶交互之间非平凡的依赖关系。在这些情况下，即使底层的高阶关系上下文是充满噪声的、模糊的，或者偏离了训练分布，HGNN也可能产生过度自信的预测[12], [13]。

与普通图相比，超图上的不确定性估计带来了额外的挑战。现有的图不确定性方法主要关注与节点属性、标签或成对边相关的不确定性[12]–[15]。然而，在超图中，不确定性也与节点和超边之间的关联结构相耦合。由于超边代表一种群组级关系，修改一个超边可以同时改变其所有关联节点的聚合上下文[2], [5], [6]。因此，不确定性估计不应局限于输出级置信度分数；相反，应该在高阶消息传递过程中沿着节点-超边关联关系对随机表示变异性进行建模。例如，一个分布偏移的超边结构可能会改变多个节点的表示动力学，即使它们的输入特征保持不变。这一观察表明，HGNNs的不确定性估计应该超越输出级置信度，并显式地表征沿着节点-超边关联结构的随机变异性。

现有的不确定性估计方法对于这一目的并不完全令人满意。深度集成提供了出色的经验不确定性估计，但会产生大量的计算和存储成本[11]。贝叶斯神经网络提供了一种具有理论依据的概率公式化，然而后验推断或近似通常成本高昂且难以扩展到大型关系结构[16]。确定性和事后不确定性方法避免了重复训练或后验采样，但它们通常从最终的logits或预测分布中估计不确定性，而没有对不确定性在表示学习过程中如何传播进行建模[10], [17]。最近的图不确定性方法通过考虑图依赖的不确定性、能量传播和随机图扩散取得了重要进展[12]–[15], [18], [19]。然而，这些方法主要是为成对图开发的，并没有直接解决超图的高阶关联机制。此外，当超图通过成对图展开来近似时，原始的关联级几何可能会失真或部分丢失，这使得直接在节点-超边交互上对随机扰动进行建模变得困难。

在本文中，我们提出了超图神经随机扩散（HyperNSD），一个用于超图上不确定性估计的随机微分方程（SDE）框架。HyperNSD将超图表示学习公式化为在节点-超边关联域上的随机扩散过程。HyperNSD没有产生一条单一的确定性表示轨迹，而是沿着多条结构感知的随机路径演化节点表示。由此产生的路径变异性为不确定性估计提供了表示级基础。具体而言，一个可学习的漂移项对确定性的高阶神经扩散进行建模，而一个可学习的随机强迫项对与表示噪声和结构模糊性相关的数据依赖扰动进行建模。由于这两个项都是通过超图梯度算子定义的，由此产生的随机表示动力学与节点-超边关联结构显式耦合。这种设计将不确定性嵌入到表示动力学中，而不是将其作为事后置信度分数附加上去，同时避免了多个独立训练的模型、复杂的后验近似或固定形式的输出级先验。

我们进一步为提出的HyperNSD提供了理论保证，包括适定性、矩稳定性、关于初始状态和结构扰动的稳定性、结构约束的随机模式、排列等变性以及Euler-Maruyama近似的收敛性。在实践中，HyperNSD通过漂移项和随机强迫项的神经参数化来实例化，并且不确定性是从采样的终端表示及其相应的预测分布的变异性中估计出来的。这使得HyperNSD能够在语义、属性级和结构分布偏移下支持分布外检测和误分类检测。在多个超图基准测试上的大量实验表明，HyperNSD在不同的分布偏移设置下一致地提高了分布外（OOD）和误分类检测，同时保持了具有竞争力的分布内预测准确率。额外的分析进一步证明了关联感知的随机强迫、自适应噪声调制以及对原始超图关联域进行直接建模的重要性。

本文的主要贡献总结如下：

• 我们将关联耦合的结构变异性确定为超图不确定性估计的一个关键挑战，其中随机表示变异性可以由群组级节点-超边交互塑造，而不是仅仅通过输出级置信度来捕捉。

• 我们提出了超图神经随机扩散（HyperNSD），一个基于SDE的框架，在节点-超边关联域上统一了确定性的高阶神经扩散和可学习的随机强迫。

• 我们为HyperNSD建立了理论保证，包括解的适定性、矩稳定性、初始状态和结构扰动下的稳定性以及数值收敛性。我们进一步表明，所提出的动力学保留了结构约束的随机模式并且是排列等变的。

• 我们在标签留出、特征插值和结构操作设置下进行了大量实验，证明了改进的OOD和误分类检测。额外的消融、图展开和扰动强度分析进一步验证了关联感知的随机强迫和直接超图域建模的必要性。

II. 相关工作

A. 超图神经网络

超图神经网络通过在节点和超边之间传播信息，将成对图学习扩展到高阶关系结构。现有方法可以根据它们如何构建高阶消息传递算子进行大致分类。谱方法（如HGNN）基于归一化超图拉普拉斯矩阵执行卷积，而图展开方法（如HyperGCN）则使用代表性的成对连接来近似每个超边[5], [20]。相比之下，节点-超边消息传递方法显式地对节点和超边之间的交互进行建模。例如，HNHN维护并更新节点和超边表示，AllSet通过可学习的多重集函数来构建节点-超边聚合，而HGNN+则为通用超图消息传递提供了一个灵活的框架[6], [7], [21], [22]。统一公式化方法（如UniGNN）进一步连接了图和超图传播规则，促进了将成熟的图架构适应于高阶关系数据[23]。

后续研究提高了超图学习的表达能力、对称性和优化性质。等变架构保留了超图表示的排列对称性，而ED-HNN则表征了一大类连续等变超图扩散算子[24], [25]。基于能量的公式化方法从可学习的正则化能量函数中推导出超图神经架构，为高阶表示学习提供了面向优化的解释[26]。最近的分析还研究了超图特有的同配性、架构设计、可迁移性以及诸如过度挤压之类的信息瓶颈[27]–[29]。与我们的公式化密切相关，基于扩散的模型（如HNDiffN和HND）将节点-超边消息传递解释为连续或离散的扩散动力学，而曲率引导的方法则根据高阶几何结构来调整扩散过程[8], [9], [30]。尽管取得了这些进展，现有的超图模型主要关注表示表达能力、传播深度和预测性能。它们大多是确定性的，并且没有显式地对节点-超边关联结构上的路径级随机变异性或不确定性传播进行建模。

B. 图上的不确定性估计

预测不确定性估计已通过贝叶斯神经网络、蒙特卡洛dropout、深度集成和基于置信度的评分方法得到了广泛研究[10], [11], [16], [31]–[35]。在OOD和误分类检测中，这些方法通常从logits、预测熵、能量值或特征空间距离构建不确定性分数。尽管在许多设置中有效，但它们主要是为独立采样的数据设计的，并且没有显式地表征在表示学习过程中随机变异性是如何被关系结构塑造的。

对于图结构数据，最近的研究将图依赖性纳入后验推断、能量传播、图依赖的不确定性建模和随机表示动力学中[12], [14], [17], [19]。与我们的工作更密切相关的是，GNSD将图表示公式化为由Q-维纳过程驱动的随机扩散过程，LGNSDE使用布朗扰动和参数不确定性对潜在图动力学进行建模，而结构感知的图随机微分方程则将空间相关的扰动引入图消息传递中[13], [15], [18]。超图OOD泛化方法（如HyperGOOD）进一步考虑了超图学习中的分布偏移，但它们并非旨在通过随机关联域动力学来估计预测不确定性。

大多数现有的图不确定性方法构建在成对图算子上，因此无法直接捕捉由节点-超边关联关系诱导的高阶传播几何。成对图展开也可能扭曲或部分丢失超图原始的关联级几何，使得直接在节点-超边交互上对随机扰动进行建模变得困难。相比之下，HyperNSD通过基于关联的超图算子来定义确定性漂移和随机强迫。节点空间的维纳扰动首先被映射到关联域，根据局部节点-超边上下文进行自适应调制，然后传播回节点空间。这种公式化将随机变异性直接嵌入到高阶表示动力学中，并使得能够从多条结构感知的随机轨迹中估计预测不确定性。

III. 预赛

A. 符号

B. 超图神经扩散

C. 不确定性来源

认知不确定性，反映了模型参数的不确定性，是总不确定性与偶然不确定性之间的差值。它也可以被解释为预测 y 与参数 Θ 之间的互信息 [38], [39]：

V. 方法论

本节介绍所提出的超图神经随机扩散（HyperNSD）框架。我们首先公式化其关联感知的确定性漂移和随机强迫，然后分析其适定性、矩稳定性、初始状态和结构扰动下的稳定性、结构约束的随机模式、排列等变性以及数值收敛性。最后，我们给出Euler-Maruyama离散化、不确定性估计策略、训练目标和计算复杂度。

A. 超图神经随机扩散

1. 一般公式：所提出的超图随机扩散方程（HSDE）的一般形式定义为

公式 (19) 中的漂移项支配着确定性的高阶特征传播，而随机项则通过相同的节点-超边关联几何注入自适应调制的、结构依赖的随机扰动。因此，确定性扩散和随机表示变异性均是在超图关联域上一致定义的。

B. 理论分析

根据构造，神经漂移项

将固定的超图梯度算子与经 softmax 归一化的、状态依赖的调制矩阵相结合。因此，它们的调制强度保持有界，并从神经兼容性函数中继承了局部正则性。它们的局部 Lipschitz 连续性和线性增长性质将在以下命题中进行形式化表述。

证明见附录B。接下来，我们建立方程(19)的适定性和稳定性性质。命题2表明，漂移系数和扩散系数满足局部存在性和唯一性所需的局部正则性条件。为了将局部解延拓为全局解，我们进一步利用漂移项的耗散结构以及扩散系数的一致有界性。这些性质防止了有限时间爆破，并导出了明确的矩、能量和停止稳定性估计，如下述定理所总结。

定理1. 假设X(0)是F_0可测且平方可积的。则以下结论成立。(i) 方程(19)在每个有限区间[0, T]上存在唯一的全局强解X(t)。此外，

定理1的证明见附录C。定理1确立了所提出的随机动力学是全局良定义的、能量受控的，并且在退出时间之前关于初始状态的扰动是局部稳定的。除了初始状态的稳定性之外，我们进一步考察了当底层超图结构受到扰动时，HyperNSD解是如何变化的。以下定理建立了关于超图梯度算子对齐扰动的局部均方稳定性结果。

定理2的证明见附录D。除结构扰动下的稳定性外，漂移与扩散算子均通过超图梯度G进行分解，这也对随机动力学施加了内在的几何约束。具体而言，零空间分量得以保留，而随机波动仅局限于由超图诱导的非平凡结构模态。以下定理对这些受结构约束的模态进行了刻画。

由于超边聚合算子具有置换不变性，且兼容性网络在所有关联对之间共享，确定性和随机调制矩阵变换为

证明见附录F。注：上述理论结果为所提出的HyperNSD作为神经网络架构提供了若干启示。首先，神经漂移和扩散系数的局部Lipschitz和线性增长性质确保了连续深度的随机表示动力学是良定义的，而不仅仅是形式上的随机微分方程（SDE）构造。其次，矩和能量估计表明，随机特征演化在有限的扩散时间范围内保持受控，这对于稳定的前向传播和数值训练很重要。第三，关于初始状态和超图结构扰动的停止稳定性估计表明，在离开有界区域之前，输入表示或关联结构的微小变化会导致随机轨迹的受控变化。这为HyperNSD在特征和结构分布偏移下的鲁棒性提供了理论解释。第四，结构约束模态分析表明，随机强迫不会在节点空间中引入任意扰动；相反，随机变异性被限制在由超图梯度算子确定的非平凡结构子空间中。最后，置换等变性保证了HyperNSD的输出独立于任意的节点或关联排序，这是超图神经网络的基本要求。因此，这些结果将随机扩散公式与神经网络学习中的标准理想特性联系起来，包括稳定的表示传播、结构感知的鲁棒性、保持几何的随机性以及与置换一致的预测。

C. HyperNSD 的离散化

D. 损失函数、不确定性估计与复杂度

1. 训练目标：设 ΘΘ 表示 HyperNSD 的所有可训练参数。我们采用分布不确定性损失 [42]

V. 实验

本节在标签留出、特征插值和结构操纵设置下，在六个超图基准上评估了 HyperNSD。我们使用分布外（OOD）检测和误分类检测，将 HyperNSD 与代表性的不确定性估计和超图学习方法进行了比较。我们进一步进行了消融研究、图扩展比较和不确定性可视化，以检验关联感知随机扩散机制的有效性。源代码将可在 https://github.com/CASZhouzhiheng/HyperNSD 获取。

A. 实验设置

a) 数据集：我们在六个基准超图数据集上评估我们的模型，包括四个引文数据集（Cora, Cora-CA, CiteSeer 和 DBLP）[20], [44] 和两个真实世界数据集（ModelNet40, NTU2012）[45], [46]。对于每个数据集，我们使用 50%/25%/25% 的比例将样本随机划分为训练集、验证集和测试集。所有实验均使用不同的随机种子独立重复十次，我们报告这十次运行的平均性能。评估数据集的详细统计信息总结在表 I 中。我们在附录 J-B 中提供了详细的数据集信息。

b) OOD 偏移构建：我们使用三种类型的分布偏移合成生成分布外（OOD）样本。

• 标签留出（Label leave-out）。我们通过保留一个类别子集作为分布内（in-distribution）数据，并将剩余类别视为 OOD 样本来构建语义偏移。具体而言，对于 Cora, Cora-CA 和 DBLP，类别标签大于 3 的样本被视为 OOD；对于 Citeseer，类别标签大于 2 的样本被视为 OOD；对于 ModelNet40，类别标签大于 20 的样本被视为 OOD；对于 NTU2012，类别标签大于 33 的样本被视为 OOD。所有剩余样本用作 ID 数据。
• 特征插值（Feature interpolation）。我们通过将选定目标样本的节点特征与从其他节点抽取的特征进行随机插值，来构建属性级别的 OOD 样本。原始超图数据保留为 ID 数据，而插值后的超图数据被视为 OOD 数据。超图关联结构保持不变。

B. OOD 检测

我们在三种 OOD 场景下评估我们的模型（分别用 L、F 和 S 表示标签留出、特征插值和结构操纵）。OOD 检测结果提供在表 II 中，更多实验结果提供在附录 J-E（表 IV-X）中。从表 II 中，我们得出以下观察。首先，HyperNSD 在 18 个评估设置中的 16 个中实现了最佳 AUROC，包括所有特征插值和结构操纵实验。与每个设置中最强的竞争方法相比，HyperNSD 在特征插值下的 Cora-CA 上获得了 4.18% 的最大提升。此外，它在特征插值和结构操纵下分别将平均 AUROC 提高了 2.77% 和 3.18%。其次，在引文和真实世界超图上一致的提升表明，HyperNSD 可以为识别由语义、属性和结构分布偏移引起的 OOD 样本提供更具信息量的不确定性分数。第三，在结构操纵下的特别强劲的表现表明，直接在原始节点-超边关联域上建模随机动力学，比将图不确定性方法应用于超图的成对近似更有效。

C. 误分类检测

除了 OOD 检测，我们还评估了不同方法识别误分类样本的能力。误分类检测考察估计的不确定性能否在测试时有效区分不正确的预测和正确的预测 [32]。如表 III 所示，HyperNSD 在六个数据集的 24 个评估设置中的 18 个中实现了最佳性能。平均而言，与每个指标中最强的竞争基线相比，HyperNSD 将 AUROC 提高了 2.10%，AUPR succ 提高了 1.49%，AUPR err 提高了 6.01%，同时将 FPR95 降低了 4.97%。这些结果表明，HyperNSD 估计的路径条件预测熵对于识别不正确的预测具有高度的信息量，同时保持了强大的分类性能。

D. 与图扩展的比较

为了检验直接在原始超图关联域上建模随机扩散的必要性，我们将 HyperNSD 与使用星型扩展（star expansion）和团扩展（clique expansion）实现的 GNSD 进行了比较。如图 2 所示，HyperNSD 在三种 OOD 设置下始终取得了更优或具有竞争力的性能。其优势在特征插值和结构操纵下尤为显著，而在标签留出设置下仍保持竞争力。这些结果表明，与成对图扩展相比，保留原始的节点-超边关联几何结构能够实现更有效的不确定性传播，并改善对属性和结构诱导的分布偏移的检测。

E. 模型变体

F. 扰动强度分析

我们进一步研究了重连比例 γγ 对 HyperNSD 的分布外（OOD）检测性能的影响，结果报告在图 4 中。从图 4 中，我们得出以下观察。首先，随着重连比例在大多数数据集中的增长，AUROC 通常会增加，表明更强的结构偏移会在分布内（ID）和 OOD 样本之间产生更具区分度的随机表示。其次，HyperNSD 在相对温和的结构扰动下仍保持了令人满意的检测性能，展示了其捕捉细微结构分布偏移的能力。第三，尽管在几个数据集上观察到了轻微波动，但整体性能随着重连比例的增加保持稳定或有所提升。这些结果表明，HyperNSD 估计的不确定性对不同程度的超图结构扰动做出了有效且一致的响应。

G. 视觉分析

VI. 结论

在本文中，我们提出了超图神经随机扩散（HyperNSD），一个基于随机微分方程（SDE）的超图不确定性估计框架。HyperNSD 将节点表示建模为在节点-超边关联域上演化的随机过程，其中可学习的漂移项控制确定性的高阶特征传播，而关联感知的随机强迫项捕捉结构依赖的表示变异性。我们为所提出的动力学建立了理论保证，包括全局适定性、有限视界矩控制、初始状态和结构扰动下的稳定性、结构约束的随机模态、置换等变性以及 Euler-Maruyama 离散化的收敛性。在六个超图基准上的广泛实验表明，HyperNSD 为分布外（OOD）和误分类检测提供了具有信息量的不确定性估计，同时保持了具有竞争力的分布内预测性能。额外的比较和分析进一步验证了直接在原始关联结构上建模随机扩散的优势，以及自适应调制的关联级随机扰动的有效性。总体而言，HyperNSD 为感知不确定性的高阶表示学习提供了一个原则性的随机动力学基础。未来的工作将研究更具表现力的随机过程，并将该框架扩展到动态、异质和大规模超图。

原文链接：https://arxiv.org/pdf/2607.07330