通过评分匹配实现贝叶斯实验设计

Bayesian Experimental Design via Score Matching

通过评分匹配实现贝叶斯实验设计

https://arxiv.org/pdf/2607.08335

摘要

基于策略的贝叶斯实验设计（BED）方法能够学习深度策略网络，使其根据先前收集的数据自适应地做出智能的设计决策。然而，此类策略的训练往往受到一个根本性挑战的阻碍：期望信息增益（EIG）的双重难解性。这迫使人们采用计算昂贵或复杂的近似方法，从而限制了在优化策略本身时所能投入的精力。为解决这一问题，我们证明，可以通过首先求解一个独立于所用策略的得分匹配问题，然后利用学习到的得分近似以单重难解的方式训练策略，从而将EIG的双重难解性与策略学习隔离开来。这将关键的乘性代价转化为加性代价，并减轻了策略训练本身的计算负担，使得在需要时（例如进行架构搜索、超参数调优或避免陷入局部最优时）多次训练策略的成本大幅降低。在我们的实验中，我们训练了多个具有竞争力的策略，且不会在似然评估中引发乘性代价，这使得我们能够通过选择最佳策略来提升性能，即使不进行超参数或架构搜索也能实现。

1 引言

实验的最优设计对于在任何领域开展信息量大且具成本效益的科学实验至关重要。贝叶斯实验设计（BED）提供了一种基于贝叶斯决策理论的、具有理论原则的实验设计选择方法，并已在物理学、心理学、量子计算、机器学习等广泛领域取得了成功应用。通常，BED通过最大化实验的期望信息增益（EIG）来实现，其中信息增益定义为对某些感兴趣目标量的先验信念到后验信念之间香农熵的减少量，而期望则是针对我们可能观测到的所有可能数据取的。

在许多应用中，实时提出下一步设计方案的能力尤为重要，例如与人类受试者开展实时调查，或通过控制实时动态系统来进行学习。遗憾的是，这在实际操作中往往十分困难，因为EIG是一个双重难解的量，优化起来极具挑战性，同时迭代间需要反复进行推断也会带来问题。基于策略的BED提供了克服这一难题的最可行途径，它将自适应设计决策分摊到一个预训练的策略中，该策略只需单次前向传播即可部署。

然而，优化双重难解目标的问题随之转移到了策略训练本身，且由于策略学习的复杂性，挑战实际上可能会加剧，这往往构成比单纯优化设计方案困难得多的优化问题。此外，用于规避双重难解性的变分方法往往难以应用，因为在高维设定下学习准确的变分分布十分困难。因此，现有方法通常只能退而求其次，采用EIG梯度的嵌套采样或对比采样，从而不得不承受由此带来的巨大计算成本。

为解决这一问题，我们证明了可以将EIG的双重难解性与策略训练解耦，其利用的事实是：信息增益本身仅通过所选的设计方案依赖于策略，而不直接依赖于策略参数本身。具体而言，我们推导了EIG梯度的一种重参数化形式，其中双重难解性被隔离在两个不直接依赖于策略的项中：即在给定完整设计展开情况下的边缘似然的Stein得分与Fisher得分。随后，我们以此为基础引入了一种用于BED的得分匹配方法，我们将其命名为SCOREBED。SCOREBED首先学习一个单一网络，利用我们称为边缘得分匹配的目标函数来同时近似这两个得分，然后将学到的得分网络代入我们的重参数化EIG梯度中，从而得到一个单重难解的估计量，可用于通过随机梯度下降来训练策略。

我们这种两阶段设置的一个关键优势在于，它将嵌套采样过程通常产生的乘性成本，转化为了两个单重难解问题的加性成本，从而使得无需昂贵嵌套采样的基于梯度的策略训练成为可能。关键在于，我们学到的近似完全独立于任何策略，因此同一个预先计算的近似结果可以被反复重用，从而对任意数量的策略实现样本高效且可扩展的训练。这为策略训练带来了巨大的益处，使得更低成本的超参数和架构搜索、更长时间的策略训练，或为避免陷入局部最优而进行的多次重训练成为可能，鉴于策略训练的困难性，这些在实际应用中均至关重要。

在实验中我们发现，在总计算预算相同的情况下，与那些同时处理EIG双重难解性和策略训练的现有方法相比，SCOREBED能够提供极具竞争力的性能。此外，由于SCOREBED中仅有极小比例的预算用于策略训练本身，它可以低成本地训练多个此类具有竞争力的策略，从而为更精细、计算更密集的策略训练方案铺平了道路。

2 背景

在这两种情况下，显而易见该目标是双重难解的，因为它涉及对后验分布或边缘分布的评估，而这些分布以非线性形式出现在外层期望之内。

Foster 等人（2020）引入了先验对比估计（PCE）界，该界为 EIG 提供了一个下界。该界利用来自先验的 MM 个对比样本来近似难解的边缘分布：

与普通的嵌套蒙特卡洛（NMC）相比，在对难解边缘分布的估计中包含

降低了估计的方差。PCE 估计器可以利用重参数化技巧（Kingma 和 Welling，2013）或 REINFORCE 梯度估计器（Williams，1992）进行微分，从而允许基于梯度的优化。

3 方法

我们在下一节中贡献了三个重要的观察结果和结论，这些最终促成了我们用于策略 EIG 优化的基于得分的方法。首先，我们观察到信息增益从根本上独立于观测数据是如何收集的，因此用于处理双重难解性的近似不一定必须依赖于策略。其次，我们推导了一个精确的 EIG 梯度表达式，该表达式展示了双重难解性的确切来源，我们的目标是以一种与策略脱钩的方式来解决它。第三，我们展示了如何通过在特定的得分匹配损失上训练的得分网络来自然地近似这些难解项。

结合这些事实，我们提出了 SCOREBED 方法，在该方法中，我们首先预先学习 EIG 梯度的一个准确且计算高效的近似，然后使用这个学到的近似来训练策略。这将计算上具有挑战性的、双重难解的 EIG 目标转化为了两个连续的单重难解问题。这种分离的重要性在于，它可以通过用加性成本（训练得分网络的成本加上由此产生的单重难解策略训练的成本）替换乘性成本（训练步数乘以内层样本数）来提供显著的计算优势。通过大幅减轻整体过程中策略训练部分的负担，这为执行架构调整、超参数调优，甚至多次重新训练以获得一个良好的策略网络提供了空间（Rainforth 等，2024）。过去，这需要重复整个完整过程的所有计算；而对于我们的得分匹配方法，它只需要重复现在单重难解的策略训练，从而提供了巨大的收益。如果似然评估成本高昂，这一点尤为重要，并且随着我们所处理的问题需要更复杂的策略和训练机制，预计其益处将日益增加（Blau 等，2022）。

为此，我们提出了一个精确的 EIG 梯度表达式，该表达式明确指出了其中确切存在的嵌套难解项，并展示了策略参数 ϕϕ 是如何独立于这些难解项进入该表达式的。

此外，定理 1 从分析上表明，在静态设计的情况下，Fisher 得分项会消失。这一结果在此情况下降低了我们梯度近似的偏差和方差，并且在不使用我们基于得分的方法时，也可用于改进 EIG 梯度估计。

这一恒等式已被 Ao 和 Li (2024) 以及 Brehmer 等人 (2020) 视为蒙特卡洛得分近似的基础，但尚未被用于训练得分网络。这启发了以下的回归目标，我们将其称为边缘得分匹配（MSM）：

4 相关工作

BED 文献的主体一直围绕着估计或界定 EIG 本身，例如对比估计（Foster 等，2021）和变分方法（参见例如 Rainforth 等（2024）及其中的参考文献）。一些最近的工作进一步探索了直接的 EIG 梯度估计。Goda 等（2022）引入了一种基于多层蒙特卡洛（Rhee 和 Glynn，2015）的 EIG 梯度无偏估计，它在有限样本中起到去偏方案的作用，但代价是增加了方差。Ao 和 Li（2024）也使用类似于公式 (3) 和公式 (5) 的表达式直接针对 EIG 梯度。与我们的分摊方法相反，他们使用 MCMC 对后验进行采样并通过蒙特卡洛估计公式 (5)，导致在训练策略时每次梯度更新的成本很高，并且在高参数维度下样本复杂度较差。最后一种直接的 EIG 梯度方法是 Iollo 等（2025），他们使用采样作为优化将嵌套采样问题整合到单个循环中，尽管他们没有训练策略。

Huang 等（2026a）的并行工作也降低了策略训练的成本，利用独立于任何策略预训练的基础模型中的信念表示，从而免除了策略训练学习表示的负担。他们使用 PCE 近似 EIG，因此他们的成本节约与我们的互补。最后，Ivanova 等（2021）；Kleinegesse 和 Gutmann（2020）对隐式模型采取分摊方法，使用判别器构建界定互信息的函数近似，而 Hedman 等（2025）考虑在实验期间定期重新训练策略。我们还注意到与隐式模型梯度估计器的联系，特别是 Song 等（2019）提出的利用得分匹配的那些。其中一项工作是 Lim 等（2020），他们使用去噪自编码器（Vincent，2011）近似隐式分布的梯度。替代的熵梯度估计技术也可以从 Stein 恒等式推导出来（Li 和 Turner，2018；Shi 等，2018；Wen 等，2021）。

5 实验

我们在一系列常见的实验设计任务上，针对多个具有竞争力的基线方法，对 SCOREBED 进行了经验验证。在每个任务中，我们使用 SCOREBED 和基线方法训练自适应设计策略，并报告最终策略所达到的期望信息增益（EIG）的上界和下界。我们的实验涵盖了具有不同特性的任务，包括非马尔可夫似然和高维参数空间。我们在接下来的章节中展示了四个 BED 任务，并在附录 E.2 中包含了一个额外任务。完整的实验细节包含在附录 D 中。

流程。 为了确保公平比较，每个任务在所有方法间都设定了相同的固定计算预算，该预算通过允许的似然评估次数（NLE）来指定。对于每种方法，我们通过两种不同的流程获得最终策略网络。首先，我们训练单个策略网络，并报告其达到的 EIG 界，标准误差反映了单个策略训练多次重新运行的波动。其次，我们考虑训练策略网络的 P 次重启（重新训练），并报告 P 个候选策略中表现最佳策略的 EIG 界（在预留测试集上评估），标准误差反映了“P 选最佳”流程多次重新运行的变化。调整每个基线的配置，以便在相同的总 NLE 预算下训练 P 个策略。我们的两阶段方法意味着训练多个策略可以低成本完成，因此得分训练预算仅适度减少以适应增加的 P。另一方面，未对 EIG 的难解性进行分摊的方法必须按比例将每个策略的预算减少至 1/P。在实践中，训练 P 个策略允许进行架构搜索和超参数调优以提升性能，但我们在此采用固定的策略配置，以在一致的策略训练任务上独立评估每种方法的质量。

基线方法。 我们将 SCOREBED 与多个成熟的 BED 基线方法进行比较，这些方法涵盖了对比采样和变分方法。首先，我们与 PCE（Foster 等，2021）进行比较。在某些情况下，我们还包含 PCE*，它使用了预算大 10 倍的 PCE 变体，因为相关工作有时会考虑比我们原始预算更大的 M。其次，我们与 Foster 等人（2019）变分方法的两种预训练策略扩展进行比较：变分边缘分布（VarMarg）和变分后验分布（VarPost）。我们预先训练难解边缘分布和后验分布的变分近似，然后使用这些固定近似来训练策略（分别产生 EIG 的上界和下界）。我们强调，这些方法目前在文献中并未出现，因为变分方法通常与策略网络联合训练。最后，我们与 Foster 等人（2020）的联合训练变分后验方法（JointVarPost）进行比较，该方法通过最大化 EIG 的 Barber-Agakov 下界，将策略与变分近似联合训练。在动力系统任务上，我们还包含了 IO-SMC2（Iqbal 等，2024）。VarMarg 和 VarPost 代表了两阶段方法，它们与 SCOREBED 类似，可以在多个策略间共享计算，而 PCE、JointVarPost 和 IO-SMC2 必须为每个策略重复所有计算。每个基线的详细信息包含在附录 D.5 中。我们还测试了 MLMC（Goda 等，2022），但发现其实际时钟成本（wall-clock cost）过高且结果缺乏竞争力，详见附录 E.1。

每种方法的精确 NLE 成本在附录 D.7 中进行了计算，各基线方法为严格遵守该精确预算而采用的配置细节则在附录 D.8 中予以详述。为了在保持总预算不变的前提下适应不同数量的策略 PP，我们分别调整了 SCOREBED、VarMarg 和 VarPost 的前期训练预算、JointVarPost 的总训练预算，以及 PCE 和 IO-SMC2 的内层样本数和粒子数。

5.1 源定位

5.2 动力系统

5.3 策略梯度偏差

此外，我们在所有实验中发现梯度偏差与下游 EIG 之间存在明显的相关性，如图 3 所示。较高的梯度偏差会破坏策略训练，导致最终策略性能不佳。这揭示了梯度偏差是任何策略训练方法论成功的关键决定因素。对于 SCOREBED，偏差对应于评分网络的近似和估计误差，这些误差通常可以通过更好的训练和网络容量来减少；而 PCE 和嵌套采样方法则因有限的样本量而引入偏差。这证实了这些方法是具有不同属性的独特方法，每种方法可能在各自的场景中具有优势。

6 结论

我们将基于策略的 BED（贝叶斯实验设计）问题中双重难处理（doubly intractable）的 EIG 梯度转化为两个可以顺序解决的单一难处理问题：首先是针对难处理边缘分布的评分匹配问题，随后是利用学习到的评分网络进行策略训练。这种 SCOREBED 方法通过预先解决双重难处理性，使得基于梯度的策略训练显著更加廉价，从而我们可以轻松地在给定问题上重复训练多个策略。这有利于策略训练，例如，允许进行架构和超参数搜索并避免局部最优。我们的结果表明，SCOREBED 实现了与现有方法（不允许廉价策略重训练）以及新提出的替代方案（预先训练固定的摊销后验网络）具有竞争力的性能。

原文链接：https://arxiv.org/pdf/2607.08335