HL-CMR: 跨模态检索的超图学习

标题：HL-CMR: 跨模态检索的超图学习

发表日期：2026-04-12

摘要：跨模态检索是多媒体理解中的一项基本任务，旨在利用一种模态（如文本）查询另一种模态（如图像）中具有相似语义的样本。现有方法仅关注单个样本之间的点对点比较，而忽略了现实世界场景中广泛存在的多对多结构关系。然而，由多个共享相似语义的样本形成的多对多关系对于实现有效语义对齐和构建准确共享语义表示至关重要。为了解决这一问题，我们提出了一种新颖的基于超图的跨模态检索方法，该方法通过标签驱动的超图构建机制，并结合差异化的加权超边，明确在多个样本之间建立多对多关联。此外，为了避免传统单向交叉注意力机制所施加的信息交互方向限制，我们设计了一种双向交叉注意力结构，以图像和文本作为独立的查询源，实现模态间的对称语义增强。然后将得到的联合图像-文本表示映射为超图顶点，进一步增强模型对齐跨模态语义的能力。由于在大规模样本集上构建全局超图会带来高昂的计算成本，我们引入了全局标签共现频率来监督批量级别的超图构建，从而增强局部图捕捉全局语义的能力。实验结果表明，我们的模型在三个基准跨模态检索数据集上优于现有的最先进方法。

论文地址：https://dl.acm.org/doi/10.1145/3774904.3792526