从贝叶斯定律到贝叶斯定理：最优信息处理与超越概率的公理基础

From Bayes' Rule to Bayes Rules: Optimal Information Processing and Axiomatic Foundations Beyond Probability

从贝叶斯定律到贝叶斯定理：最优信息处理与超越概率的公理基础

https://arxiv.org/pdf/2607.08019

摘要

本文针对可能性推理开发了基于原则的更新规则，其中关于固定参数的不确定性由可能性函数表示，该函数是概率分布的极大化对应物，且比较通过偏序逐点进行。从两个互补的基础——信息守恒视角和公理化视角——我们推导出了相同的典范更新规则：后验等于先验与似然的乘积，随后进行上确界归一化。对于任意损失函数，这两种推导结果一致，仅在学习率参数的引入位置上有所不同。该参数控制认知确信度，且仅凭归一化证据无法识别，这阐明了类似学习率参数在广义贝叶斯更新中的作用。

1 引言

贝叶斯法则在统计推断中占据着独特的地位：它既是更新信念的操作框架，也是评判其他替代更新规则的基准。然而，经典统计学和现代机器学习都普遍偏离标准的贝叶斯更新。经典例子包括逆概率方法和替代的事后构造，而现代例子则包括基于损失的“广义贝叶斯”更新、调温后验，以及不确定性并非自然可加的证据融合方案。这些偏离提出了一个易于表述但在概念上难以解答的基本问题：究竟是什么使得贝叶斯法则成为处理信息的“正确”方式，且这一答案如何依赖于信息的数学表示？

重新审视这个问题的一个途径是将推断视为信息处理。从两个输入出发，即 i) 关于未知但固定的感兴趣量的先验信息，以及 ii) 数据通过似然或损失提供的信息，人们寻求一种基于原则的信息处理规则（IPR），以输出知识状态的数据后表示。在概率框架下，这种视角通常与 Zellner [1988] 关于信息守恒原则（ICP）的工作相联系，其中贝叶斯法则作为唯一的 IPR 出现，它守恒了所选定的信息标量度量。与此同时，Bissiri 等人 [2016] 的框架表明，当数据通过损失而非数据生成机制（DGM）引入时，关于损失应如何累积以及更新在限制条件下应如何表现的一致性要求，必然导出了 Gibbs（指数化损失）后验。

2 相关工作

除了 Bissiri 等人 [2016] 之外，广义贝叶斯的基础性视角还包括基于散度/评分规则的动机 [Jewson 等人，2018，Knoblauch 等人，2022]、基于通用准则函数的拟后验 [Chernozhukov 和 Hong，2003]，以及针对误设鲁棒性校准损失尺度/学习率的工作 [Grünwald 和 van Ommen，2017，Syring 和 Martin，2019，Lyddon 等人，2019]。在与 Zellner [1988] 相关的信息处理传统中，贝叶斯更新还与信息论投影原则（最大熵/最小交叉熵和最小判别信息）及其公理化特征 [Jaynes，1957，Shore 和 Johnson，1980，Csiszár，1975] 密切相关。

可能性理论中的类贝叶斯更新长期以来通过条件可能性和独立性/非交互性的概念进行研究，导致了几个相互竞争的条件规则和系统处理 [Hisdal，1978，de Cooman，1997]，其中 Walley 和 de Cooman [1999] 提供了关于此类条件规则的行为/一致性视角。Dubois 等人 [1997] 开发了一种基于似然的可能性测度方法。我们的贡献不同之处在于，我们推导出上确界归一化的先验-似然乘积作为与（基于损失的）更新和信息守恒相兼容的唯一信息处理规则，而不是先验地假设一个条件规则。我们的方法与最近的不精确概率视角相一致，在该视角中，当将似然与部分先验信息结合时，上确界归一化成为适当的校准步骤 [Martin，2026]。更广泛地说，这一视角与新兴的不精确概率机器学习（IPML）文献相一致，该文献涉及在不精确信息下的学习和决策，例如 Caprio 等人 [2024]、Singh 等人 [2024] 或 Chau 等人 [2025]。Dubois 和 Prade [2015，第 5 章] 对可能性理论及其与概率的关系进行了综述，我们借鉴该综述来证明将两者结合的合理性：我们的实际重点是概率似然

与可能性先验的混合设置，即将数据视为随机的，而关于 θθ 的信念保持为可能性的。

在不精确概率模型中，我们使用可能性测度，因为它们由可能性函数进行的逐点表示使得支撑视角 1 的

上的偏序成为可能，在这种偏序下，丢失和创造成为逐点现象而非标量总结。集函数模型，例如相干下 prevision [Walley，1991]、不精确 Dirichlet 模型 [Bernard，2005]、p-boxes、概率区间或失真模型，也支持广义贝叶斯更新，并且可以通过置信集包含进行排序，但它们没有同样直接的逐点序，因此在那里的信息守恒分析将需要一种不同的不平衡概念。

最直接相关的是 Singh 等人 [2025] 的姊妹篇论文，该论文开发了 Donsker-Varadhan 变分公式的极大化（maxitive）类比，并将其应用于可能性变分推断。这两篇论文是互补的：Singh 等人 [2025] 侧重于计算和目标驱动（变分特征和易于处理的候选分布族），而本文则是基础性的，通过信息处理和公理化视角对更新规则本身进行公理化，并解释了为什么上确界归一化的先验-似然乘积是典范的。这两个视角直接相连：我们对后验的无丢失/无创造特征（第 4.3 节）与他们的双重一致性界相吻合，并且我们将他们的变分唯一性结果作为信息守恒陈述进行了恢复。这一研究计划已经延伸到了深度学习领域：Ni 等人 [2026] 在概率单纯形上实例化了可能性后验，通过学习一个狄利克雷（Dirichlet）可能性函数来近似上确界投影后验，该函数通过最小化 Singh 等人 [2025] 提出的极大化散度来实现，并以单次前向传播的代价获得了与最先进水平相媲美的二阶不确定性预测器，这正是本文所刻画的更新规则的一个下游应用。

3 可能性理论

现有结果。 更新规则 (1) 已经与其概率对应物共享许多性质，例如 Bernstein–von Mises 定理 [Hieu et al., 2025]。我们在本工作中不关注这些性质，因为它们主要是后果性的而非刻画性的，即，它们是从 (1) 出发而不是推导出 (1)。

4. 观点1：最优信息处理

Zellner [1988] 表明，标准贝叶斯后验分布可以从一个将输入信息转换为输出信息的IPR（信息处理规则）中恢复出来。这一论证依赖于引入一个通用的后验数据分布作为输出信息（连同证据）的组成部分之一，然后将其与基于先验（或前数据）分布和似然函数的输入信息进行比较。为完整起见，Zellner [1988] 这一论证的详细回顾在附录C中提供。

4.1 我们对Zellner分析的看法

我们首先强调一个根本性的要点：在Zellner的ICP（信息守恒原理）中，被守恒的并非信息本身，而是信息的一种数值度量，即信息量。Zellner [1988] 本人将IPR的效率表述为以适当选择的度量衡量的输出信息，因此比较输入和输出在构造上就是依赖于度量的。关于信息被“丢失”、“创造”或“守恒”的陈述，只有在通过度量的选择将这种信息映射为标量之后才变得有意义。

从这个角度来看，Zellner的ICP可以被解释为一条关于信息的特定数值表示之守恒的原理，而非关于作为抽象对象的信息本身。

测量信息的一个自然候选是香农熵。然而，香农熵是一个绝对量：它并非在两个信息对象之间关系性地定义的。因此，它并不提供一种直接的机制来比较来自不同来源的输入信息和输出信息。特别是，仅凭熵本身并不能引出一个连接这些不同对象的有意义的守恒原理。为了克服这一困难，Zellner采用了香农交叉熵，这是一个相对于参考分布定义的相对量。这一选择使得ICP在数学上是确定的，并导出一个满足守恒条件的唯一后验数据分布，即贝叶斯后验分布。等价地，贝叶斯法则最小化标量泛函∆(IPR)，尽管这种变分形式是守恒性质的重述，而非原始原理。然而，重要的是，这种唯一性是所选信息度量所带来的结果，而非信息处理本身的内在属性。

在Zellner的框架内，由IPR所引发的信息损失∆(IPR)可以被重写为：

我们认为，这些悖论本质上是认识论层面的。比较输入和输出信息隐含地假设了信息对象可以被有意义地排序或比较。当信息由概率分布表示时，这一假设是有问题的：Θ上的概率分布集合P(Θ)并不存在类似于可能性函数序那样的规范逐点信息量序。因此，分布之间的任何比较都必须通过外部选择的泛函来实现，例如熵或交叉熵。因此，ICP并非直接比较信息对象，而只是比较从它们导出的标量摘要。所以，从这类比较中得出的结论与信息度量的选择相关联，不能被视为信息处理的内在属性。

我们的主张是，可能性理论为直接比较信息对象提供了一个更合适的框架。Θ上的可能性函数集合F(Θ)天然地由以下方式偏序化：

这种结构允许一个最大元素（恒等于1的常函数），它代表完全无知，这一概念在概率论中没有直接对应物。在这个有序的框架内，信息可以在无需诉诸标量摘要的情况下进行比较：一个信息对象可以被直接说成包含比另一个更多或更少的信息。

在下一小节中，我们将表明，当信息由可能性函数表示且ICP（信息守恒原理）以序关系 ⪯ 来表述时，可能性贝叶斯法则作为唯一守恒信息的后验数据信念而出现。此外，该框架允许在不依赖任意数值度量的情况下，清晰地识别出那些真正导致信息损失或信息增益的IPR（信息处理规则）。

4.2 可能性贝叶斯法则作为最优信息处理

我们现在在可能性框架内将统计推断重新表述为一个信息处理问题。与前一节一样，信息处理规则（IPR）将给定的输入信息转换为输出信息。关键区别在于对未知参数不确定性的表示：关于参数θ的不确定性由可能性函数表示，而似然函数是基于损失的，并带有一个强度参数w ≥ 0，如第3节中所确定的，它是一个外生输入而非损失本身的一个特征。

这里的目标有三重。首先，我们表明在该框架内，信息损失和信息创造都可能发生。其次，我们表明贝叶斯法则作为既不损失也不创造信息的唯一IPR而出现。最后，我们将此结果与概率设置进行对比，在概率设置中，这种区分在构造上是不可能的。

我们考虑一个后验数据可能性函数g(θ | y)，并不假设它必须遵循贝叶斯法则。相反，它完全由所选的IPR决定，其最优性有待刻画。与概率情形相比，信息不再由标量期望（即交叉熵）来概括。相反，信息直接表示为参数空间上的一个函数。

信息创造与信息损失。一个IPR不创造额外信息当且仅当：

这与概率框架形成鲜明对比，在概率框架中，这种区分由于信息度量的标量性质而被排除。

4.3 与极大值Donsker-Varadhan对偶性的联系

5 观点2：公理化方法

这些公理分别施加了序贯一致性、限制兼容性、损失单调性、空损失不变性以及可加损失平移不变性。逐条公理的讨论见附录D。尽管这些公理与Bissiri等人[2016]的一致性逻辑非常相似，但这里的要点在于，这一论证并非概率论所特有。然而，这并非简单的积分到上确界的替换。这些公理是Bissiri一致性条件的可能性对应物，而非其强化；额外的工作在于证明本身。由于可能性函数仅通过其两两比值（在满足上确界约束的意义上）被确定，概率归一化不能简单地被复用，而是必须从相同的公理出发，证明极大值限制（A2.2）保持两两比值，二元可能性函数可以从这些比值中恢复，并且二元更新在三元组上保持一致（附录E）。

两种观点的收敛性。

6 讨论

本文刻画了可能性推断中的一种规范贝叶斯式更新。在信息守恒观点和公理化观点下，后验分布均为具有上确界归一化的先验-似然乘积，并且两种推导对于任意损失都得到相同的单参数族。结果还表明，学习率对两种推导而言都是外生的：它支配认知强度，且通常不能仅从证据中学习得到。

信息删除。另一个自然的方向涉及信息处理的逆问题。虽然当前的工作探讨如何将新信息纳入现有知识状态，但人们同样可以问如何移除先前获得的信息。在概率设置中，这个问题最近以“贝叶斯遗忘”之名引起了相当大的关注。除了其实践动机之外，Montcho和Rue [2026] 近期关于最优信息删除的工作表明，贝叶斯遗忘本身也具有原则性的信息处理解释，为贝叶斯定理在信息获取中所扮演的角色提供了一个概念性的对应物。

这一视角暗示了当前工作的自然延伸。与其将可能性遗忘仅仅视为一个算法问题，不如探讨它本身是否可以从第一性原理出发来刻画，这将是有趣的。特别是，人们可以问，是否可以从一个镜像了第4节中发展出的信息守恒观点的最优信息删除原则，或者等价地从一个与第5节中一致性论证相平行的公理刻画，来推导出规范的可能性遗忘规则。这样的结果将为概率遗忘领域的最新发展提供一个可能性对应物，同时进一步检验本文所发展的基本原理的适用范围。

未来方向。本文并不旨在开发完整的推断或决策流程，也不提供实证比较；我们的贡献在于阐明在更广泛的“贝叶斯法则”家族中，哪些信息原则和一致性要求能够独选出特定的更新规则。重要的后续步骤包括：i) 基于覆盖/有效性或预序准则的认知强度参数（例如 ww）的系统校准策略，ii) 研究通过复杂模型传播 αα-截集所获得的预测集构造，以及iii) 刻画不同的合取算子（超越乘积t-范数）如何诱导出不同的更新规则和不同的操作性保证。这些方向将把当前的基础工作与具体算法和基准测试联系起来。

原文链接：https://arxiv.org/pdf/2607.08019