首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >实验室18篇论文被ACM MM 2026录用

实验室18篇论文被ACM MM 2026录用

作者头像
Amusi
发布2026-07-13 18:40:56
发布2026-07-13 18:40:56
400
举报
文章被收录于专栏:CVerCVer

来源:IPIU智能感知与图像理解实验室

近日,计算机图形学与多媒体领域顶级会议ACM International Conference on Multimedia(ACM MM 2026)公布了论文接收结果,实验室共有18篇论文被ACM MM 2026录用,第一作者分别是郝泽华博士生(导师:刘芳教授),李瑞阳博士生(导师:刘芳教授),王昕怡博士生(导师:刘芳教授),延李波博士生(导师:刘芳教授),杨蘅硕士生(导师:刘芳教授),葛瀚元博士生(导师:侯彪教授),樊肇星博士生(导师:侯彪教授),胡志远硕士生(导师:梁雪峰教授),杨智超博士生与顾天骄硕士生(共同一作,导师:李雷达教授),盛祥非博士生与邹未东硕士生(共同一作,导师:李雷达教授),张燚博博士生(导师:高大化教授),李丰泽硕士生(导师:冯婕教授),张常设硕士生(导师:冯婕教授),王懿婧博士生(导师:唐旭教授),林伟权博士生(导师:唐旭教授),马居坡副教授,马梦茹博士(合作导师:焦李成教授)及王冠淳博士(合作导师:张向荣教授)。论文简要介绍如下:

论文一

论文题目:G2D: Generative-to-Discriminative Collaborative Inference for Zero-Shot Image Classification

论文作者:郝泽华,刘芳(通讯作者),王芹亮,杜瑶阳,黄欣研,陈璞花

作者单位:西安电子科技大学

论文概述:随着视觉语言预训练模型与多模态生成模型的发展,零样本图像分类的核心挑战在于:如何融合判别模型高效稳定的类别检索能力与生成模型细粒度的视觉理解能力,实现准确且无须额外训练的分类。我们发现,现有零样本分类的关键瓶颈并非候选类别召回不足,而是正确类别已进入Top-K候选集合后,模型仍难以在相似类别之间完成准确消歧。一方面,CLIP等判别模型具有较强的候选召回能力,但依赖图文相似度排序,在细粒度类别间容易产生混淆;另一方面,生成式视觉语言模型具备较强的图像理解与推理能力,但直接面对大规模类别空间时,容易受到候选过多、输出不稳定以及生成结果偏离合法标签等问题的影响。为此,我们提出生成到判别协同推理框架G2D。该方法揭示并利用判别式模型与生成式模型之间的错误互补性,将生成模型由面向完整类别空间的开放式分类器转化为候选空间中的图像验证器。具体而言,CLIP首先召回Top-K候选类别;置信度路由器随后判断样本是否需要生成验证,并利用预测熵自适应确定候选规模;对于需要Verifier预测的样本,生成式VLM将结合图像、候选类别及其预测概率进行候选消歧,最后通过约束解码在合法候选集合中输出唯一预测类别。实验表明G2D可即插即用地增强CLIP,WaffleCLIP、DCLIP等先进判别式方法,同时适配Qwen3.5-9B、Qwen3-VL-8B等多种生成式视觉语言模型并进一步提升其分类性能,展现出良好的有效性与可扩展性。

论文二

论文题目:Anatomical Knowledge-Guided Semantic Conditioning for Medical Referring Expression Segmentation

论文作者:李瑞阳,刘芳(通讯作者),焦李成,郝佳瑶,刘旭,李玲玲,陈璞花,马文萍

作者单位:西安电子科技大学

论文概述:医学参考表达分割(MRES)旨在根据医生的文本描述,从医学图像中精准分割出相应的临床目标。现有方法主要依赖明确的文本提示与隐式的跨模态特征交互来实现目标定位,难以应对临床中复杂多样的指代语境。我们观察到,医学影像具有高度一致的解剖拓扑先验,且文本描述的核心功能更多表现为对目标类别的显式条件触发,而非复杂的语义推理。基于这一认识,本文提出一种解剖知识引导的医学参考表达分割框架MRESeg,其核心在于将文本建模解耦为语义条件触发与显式知识注入两个阶段,从而将多样化的文本描述转化为稳定的解剖学指导信号。具体而言,MRESeg构建了器官解剖关系知识图谱,并设计知识引导的空间关系交互(KSRI)模块,将文本触发的空间上下文先验显式注入特征学习过程。这一机制不仅提升了常规指代目标的定位精度,更显著增强了模型应对隐式描述的结构化定位能力。同时,我们提出参考增强多类别优化策略(REMO),在保持全局多类别监督的基础上,对参考目标区域进行选择性强化,成功在统一框架内兼顾了语义分割与参考表达分割任务。此外,本文还提出一种数据转换策略,可将常见的医学语义分割数据集快速转化为MRES训练与评测基准。在五个涵盖不同器官与模态的数据集上的详实实验表明,MRESeg在两类任务中均取得了领先性能,充分验证了其在复杂指代场景下的有效性与泛化能力。

论文三

论文题目:Advancing Video Anomaly Retrieval via Action-Focused Temporal Reasoning and Query-Adaptive Routing

论文作者:王昕怡,刘芳(通讯作者),焦李成,葛瀚元,陈璞花

作者单位:西安电子科技大学

论文概述:视频异常检索 (VAR) 旨在利用自然语言在视频中查询检索异常事件,从而促进公共安全应用。虽然视频文本检索 (VTR) 研究广泛,但其主要侧重于查询正常活动,忽略了在现实场景中识别异常行为的关键需求。而视频异常检测(VAD)致力于异常理解,通常被建模为基于预定义标签的二元分类任务。相比之下,VAR能够主动检索特定的异常事件。因此,VAR更具实用性,但也更具挑战性。为了解决直接将通用VTR模型应用于 VAR 任务时遇到的挑战,我们提出了一种名为AVAR的框架,该框架实现了从被动分类到主动检索的转变。首先,我们设计了一个文本引导的动作聚焦器 (TAT),利用解析后的动作语义提取以动作为中心的表示,从而抑制冗余的背景信息。其次,我们引入了双路径异常推理网络(DARN),该网络联合建模上下文信息和时间演化。我们引入了时间序列反转惩罚来显式约束时间方向性,从而增强模型对动作顺序的敏感性。最后,我们设计了一个查询自适应软路由(QASR)模块,该模块根据查询语义自适应地平衡基于外观的匹配和基于逻辑的推理。作为首个在大规模SVTA基准数据集上进行系统性探索的方法之一,我们的方法取得了目前最先进的性能。它在真实世界数据集OOPS!和UCFCrime-AR上展现了强大的零样本泛化能力和少样本适应性。

论文四

论文题目:Seeing Before Completing: Geometry-Aware Adaptive Views for 3D Point Cloud Completion

论文作者:延李波,刘芳(通讯作者),方静,黄欣研,陈璞花,缑雪健,李瑞阳

作者单位:西安电子科技大学

论文概述:点云补全旨在从不完整的三维观测中恢复物体的完整几何结构与细粒度几何细节,是三维视觉中的重要基础任务。然而,现有多视图补全方法普遍依赖预设数量和固定位置的二维投影视图,难以兼顾几何信息的充分获取与计算效率:有限视图难以覆盖复杂样本中的关键缺失区域,而为所有样本配置更多视图又会给简单样本引入冗余信息与额外开销。此外,现有方法多将视图信息局限于前端特征增强,缺乏利用其几何可解释性动态指导后续细化过程的机制。为此,我们提出一种几何感知的自适应多视图点云补全框架,构建“先选择有效视图,再利用视图指导补全”的完整流程。几何感知视图自适应模块根据输入点云的内在几何复杂度动态分配视图数量,并通过三维结构表征与候选深度视图之间的跨模态交互评估视图质量,从而筛选兼具信息性与互补性的观测视图。在此基础上,视图驱动细化模块将深度图作为统一的几何度量,自适应协调结构分析和相似性对齐两条细化路径,实现整体结构恢复与局部几何细化的协同优化。在 ReTooth3D、ToothComp3D 和 PCN 数据集上的实验表明,该方法实现了补全精度与计算效率的有效平衡,并展现出较强的泛化能力。

论文五

论文题目:RP2Track: Reflectance-Aware 3D Single Object Tracking via Dual-Branch Fusion

论文作者:杨蘅,刘芳(通讯作者),李硕,王佳豪,黄欣研,陈璞花,宋克欢

作者单位:西安电子科技大学

论文概述:3D单目标跟踪是机器人视觉和智能感知系统中的一项关键技术。在复杂场景中,目标缺失、遮挡和形变等常见挑战常常导致跟踪漂移或失败。对于激光雷达点云而言,其固有的稀疏性和无纹理特性往往会导致目标特征表示不足,进一步加剧了上述复杂场景下的跟踪不稳定性。尽管现有的孪生跟踪范式引入了记忆机制来传播几何特征和掩码特征,但仍局限于纯几何信息,缺乏对固有材料属性的利用,导致在面对几何相似的干扰物和稀疏外观时区分能力不足。为了解决这个问题,我们提出了RP2Track,将激光雷达反射率作为物理先验信息集成到3D单目标跟踪流程中。它包含三个模块:选择性反射率融合模块(SRFM)用于自适应的物理-几何增强;解耦自适应传播模块(DAPM)将动态外观信息与静态固有属性信息保持分离以抑制漂移;此外,RP2Track还包含一个利用材料语义解决几何歧义的反射率引导注意力融合模块(RAFM)。在KITTI、NuScenes 和 Waymo Open 数据集上的实验结果表明,本方法提高了稀疏点云下的跟踪鲁棒性,并取得了具有竞争力的性能。

论文六

论文题目:Thinking Like Humans: Explainable Class-Incremental Learning via Distribution Matching

论文作者:葛瀚元,任博(通讯作者),王昕怡,刘明,郭政熹,郭峻溪,屈琮宏,侯彪(通讯作者)

作者单位:西安电子科技大学

论文概述:类增量学习旨在使系统能够在不遗忘先前学习概念的情况下持续获取新知识。然而,现有方法主要依赖于判别性参数扩展,这使得它们极易因参数覆盖而导致灾难性遗忘。此外,它们不透明的黑盒特性限制了其在高风险实际应用中的可靠性。相比之下,人类通过将显著的视觉细节与语义结构相匹配来学习,并可以自然地形成可追溯的推理链。受此认知过程的启发,我们提出了一种可解释类增量学习(ECIL) 范式,它将不透明的参数记忆转变为显式的、类似人类的推理。我们通过模拟人类的视觉注意力提取关键的判别性图像区域,并利用结构化的语义属性作为显式的知识锚点,从而防止了先验知识的遗忘。为了连接视觉和语义模态,我们设计了一种熵正则化的最优分布匹配(DM) 策略。该机制不仅能有效抑制任务间特征干扰,还能明确量化特定图像区域对语义属性的贡献,从而为每个决策生成清晰的推理链。大量实验表明,我们的方法在高准确率、低遗忘率和强解释性之间实现了良好的平衡,为安全可靠的持续学习奠定了基础。

论文七

论文题目:GCS-Splat: Geometric Consistency Score-Driven Active Reconstruction with 3D Gaussian Splatting

论文作者:樊肇星,陈启程,邬子同(通讯作者),樊志诚,张潇,侯彪(通讯作者),任博

作者单位:西安电子科技大学

论文概述:

主动三维重建旨在让机器人在有限运动与时间预算下自主选择观测视点,实现对真实场景的高保真重建。三维高斯泼溅(3DGS)凭借显式几何表达和实时渲染能力,为在线重建与路径规划提供了新范式。然而,现有主动重建方法通常缺乏对高斯基元内在几何质量的直接评估,难以及时识别由尺度过度膨胀和几何畸变等引发的局部结构孔洞缺陷。与此同时,单纯面向未探索空间的视点规划策略往往忽略已观测区域中的低质量重建结果,难以形成从几何缺陷检测到主动视点修复的闭环。为此,我们提出GCS-Splat,一种由几何一致性评分(Geometric Consistency Score,GCS)驱动的3DGS主动重建框架,将内在几何修复与主动视点规划紧密耦合。GCS综合高斯基元的尺度、各向异性、不透明度和颜色稳定性,量化局部结构退化,并据此开展历史关键帧概率重放,以及高斯剪枝、分裂和克隆。在运动规划方面,系统采用“全局覆盖—局部修复”两阶段策略:先通过前沿探索快速扩展场景覆盖,再针对高GCS缺陷区域规划互补多视角观测,并利用B样条生成平滑、可执行的轨迹。在Replica和Matterport3D(MP3D)数据集上的实验表明,GCS-Splat在几何精度和重建质量方面均取得优异性能,实现了高效全局探索与高保真三维重建的统一。

论文八

论文题目:v-PPL: Vision-grounded Perplexity for Fine-grained Image-Text Alignment Evaluation in Long Text Scenarios

论文作者:胡志远,张莹,梁雪峰(通讯作者),刘士豪

作者单位:西安电子科技大学

论文概述:随着多模态大模型生成能力不断提升,图像描述正从简短文本走向信息密集的长文本。然而,现有评估指标往往更关注整体语义和语言流畅性,少量方向、颜色、数量或空间关系错误容易被大量非关键词“稀释”,难以准确衡量细粒度图文对齐质量。针对这一问题,本研究提出视觉落地困惑度指标v-PPL。该方法通过双路径注意力掩码,比较模型在保留与屏蔽图像信息时的 Token 生成概率,量化每个词的视觉贡献,并从视觉幻觉敏感性、语言流畅紧凑性和信息丰富度三个维度综合评价长文本。实验表明,v-PPL 能更敏锐地识别细微视觉错误,更准确地衡量长文本描述的视觉一致性与信息完整性,并在多个多模态模型架构上展现出良好的泛化能力。有别于 CLIPScore 等基于全局表示的方法,以及容易受语言先验影响的传统困惑度指标,v-PPL 将评估重心从“文本是否流畅”转向“描述是否真正得到图像支持”。它不仅可用于通用图像描述模型的评测与训练,还可应用于医学影像报告审核、自动驾驶场景描述、安全监控与图像内容审查、艺术作品鉴赏、无障碍视觉辅助和电商商品描述等任务,帮助识别方向、数量、属性、位置及关键目标遗漏等细粒度问题。作为辅助训练目标,v-PPL 还能够减少视觉幻觉、冗余表达和细节遗漏,为专业领域构建更加准确、可靠的多模态系统提供新的技术路径。

论文九

论文题目:Personalized Image Aesthetic Assessment via Preference-richSample Mining and Cohort Merging

论文作者:杨智超,顾天骄(共同一作),张之显赫,盛祥非,陈鹏飞,李雷达(通讯作者)

作者单位:西安电子科技大学

论文概述:基于多模态大语言模型的个性化图像美学评估(PIAA)研究,旨在解决个体间审美偏好差异对自动化评估带来的挑战。针对现有方法未能充分挖掘有限用户数据效用、忽视个体偏好在不同视觉刺激下表现程度不均以及群体审美模式可迁移性等问题,本研究提出PRAC(Preference-Rich sample mining and Aesthetically-resonant Cohort merging)框架。该框架首先通过联合分析图像的集体争议性与个体偏差性,筛选偏好丰富样本,以最大化单位用户数据的信息增益;在此基础上,利用偏好嵌入向量度量跨用户审美相似度,并据此提出基于审美共鸣群体的模型合并策略,通过聚合品味相近用户的偏好参数,实现对目标个体审美模型的增强性适配。在四个公开基准数据库上的大量实验结果表明,PRAC框架在多项评价指标上均显著超越当前最优方法,验证了偏好富样本挖掘与审美共鸣群合并机制在提升个性化美学预测性能方面的有效性,为数据稀疏条件下的个性化视觉感知建模提供了新的技术路径。

论文十

论文题目:AGIDefect-4K: A Richly Annotated Dataset for AI-Generated Image Defect Detection, Localization and Explanation

论文作者:盛祥非,邹未东(共同一作),顾天骄,杨智超,陈鹏飞,李雷达(通讯作者)

作者单位:西安电子科技大学

论文概述:随着生成式AI的快速发展,当前模型虽能生成高度逼真的图像,但仍可能出现结构及语义逻辑缺陷,影响其视觉质量与实际应用可靠性。现有AI生成图像评估多侧重整体质量评分,缺乏对缺陷是否存在、具体位置及感知影响的系统研究。为此,我们首先构建了AGIDefect-4K数据集,包含来自15种主流开源及闭源生成模型的4,000张图像,其中包括3,000张缺陷图像和1,000张无缺陷图像。通过专家独立标注与联合复核,数据集提供缺陷检测标签、像素级定位掩码、详细文本解释及整体质量评分,形成“检测—定位—解释”的层次化标注体系。在此基础上,我们提出基于多模态大语言模型的AGIDA(AGI Defect Assistant),实现缺陷检测、定位、解释与质量分数预测的一体化建模。实验表明,当前通用模型在细粒度缺陷理解方面仍存在明显不足,AGIDA在缺陷检测、定位和质量评估任务中均取得最优性能。AGIDefect-4K为AI生成图像缺陷分析与质量评价提供了统一的数据和评测基准,有助于推动生成模型的细粒度评估与改进。

论文十一

论文题目:MotifArchive: Visual Motif Token Archives for Artistic Creation

论文作者:张燚博,刘丹华(通讯作者),杨旻曦,高大化,谢丰

作者单位:西安电子科技大学

论文概述:随着生成式人工智能在艺术创作与数字文化内容复用中的快速发展,如何从包含丰富视觉元素的图像中提取可检索、可组合且便于存储的独立元素,成为生成式艺术创作的重要问题。然而,现有方法普遍面临局限:一方面,完整模型微调及LoRA类方法的优化与存储成本较高,难以组织为轻量化的视觉元素档案库;另一方面,Token学习方法主要面向单概念个性化,在同图多元素学习中容易产生空间泄漏、语义过度表达与元素间冲突,削弱Token与目标区域的精确绑定以及多元素组合的稳定性。为此,我们提出视觉元素Token档案框架MotifArchive。该框架通过点选交互获得元素掩码与语义锚点,在冻结生成骨干的条件下,为前景元素及背景学习独立Token并构建轻量化本地档案库。金字塔注意力对齐(PAA)利用多尺度监督实现由区域定位到边界细化的空间绑定;锚点引导的范数与冲突正则化(ANCR)抑制语义过度表达及元素间干扰;流形分解引导(MDS)在检索阶段校正语义漂移并保留元素身份特征。全面实验表明,本方法在七项图像、文本及Token级指标上均取得最佳结果,其中Token语义相似度达到0.387;每个视觉元素仅需8 KB的额外存储,并支持多元素组合、提示词控制与插值探索,为艺术创作与数字策展提供了轻量、可复用的元素级生成资产。

论文十二

论文题目:Decouple and Rectify: Semantics-Preserving Structural Enhancement for Open-Vocabulary Remote Sensing Segmentation

论文作者:冯婕,李丰泽,张骏鹏(通讯作者),陈思宇,梁宇平,陈俊颖,尚荣华

作者单位:西安电子科技大学

论文概述:面向开放世界遥感理解需求,开放词汇语义分割利用视觉语言模型突破固定类别限制,为未知类别识别提供了新的技术路径。然而,以CLIP为代表的视觉语言模型主要关注图像级语义对齐,其视觉特征缺乏精细空间结构表达能力,难以满足遥感影像密集预测任务需求。为增强结构感知能力,现有方法引入遥感预训练DINO作为结构先验,但通常采用整体融合策略,忽略了CLIP特征内部不同维度的功能差异,容易破坏语言对齐语义并限制结构增强效果。

为进一步分析这一问题,本文通过通道级分析发现,CLIP视觉特征内部存在明显的功能异质性:部分通道主要负责类别语义判别,而另一部分通道则语义判别信息较弱。基于这一观察,本文提出一种解耦与校正相结合的语义保持结构增强框架(Decouple and Rectify, DR-Seg),实现结构增强与语义保持的协同优化。首先,设计语义保持子空间解耦模块(Semantic-Preserving Subspace Decoupling, SPSD),利用类别激活熵和类间相似度对CLIP通道进行重要性评估,将特征划分为语义主导子空间和结构主导子空间,在保留关键语义信息的同时,为结构增强提供针对性优化空间。随后,提出先验驱动图校正模块(Prior-Driven Graph Rectification, PDGR),利用遥感领域预训练DINO提供的结构先验,结合特征相似性与空间邻近关系构建稀疏图,并通过图传播机制对结构主导子空间进行自适应校正,从而增强目标边界和空间细节表达能力。最后,引入不确定性感知自适应融合模块(Uncertainty-Guided Adaptive Fusion, UGAF),根据不同区域预测的不确定性动态融合原始CLIP分支与增强分支,使模型在保持语义可靠性的同时实现有效结构补偿。

在八个遥感开放词汇语义分割基准数据集上的全面实验表明,DR-Seg在不同训练设置和跨域测试场景下均取得了优越性能,相比现有先进方法能够生成更加准确的类别预测结果、更清晰的目标边界以及更强的跨场景泛化能力。

论文十三

论文题目:Resonance4D: Frequency-Domain Motion Supervision for Preset-Free Physical Parameter Learning in 4D Dynamic Physical Scene Simulation

论文作者:张常设,冯婕(通讯作者),陈思宇,李冠彬,尚荣华,张骏鹏

作者单位:西安电子科技大学

论文概述:从静态三维场景生成物理驱动的四维动态模拟,仍面临一个常被忽视的问题:可靠的运动监督通常依赖在线调用视频扩散模型或光流估计流程,而这些方法的计算开销往往高于物理模拟本身。现有方法还常通过仅优化部分材料参数来简化逆向物理建模,因此难以准确处理包含复杂材料和复杂运动的场景。为此,我们提出 Resonance4D,一个结合三维高斯泼溅(3D Gaussian Splatting)与物质点法(Material Point Method, MPM)的物理驱动四维动态模拟框架,并采用轻量但有效的监督信号进行优化。我们的核心思想是:无需依赖密集的时序生成,也可以通过在不同域中对运动进行联合约束,从而保证动态一致性。基于这一思路,我们提出双域运动监督(Dual-domain Motion Supervision, DMS)。该方法同时利用空间结构一致性约束局部形变,并利用频域谱一致性建模振荡和整体运动模式,在保留有效物理运动信息的同时,显著降低训练时间和显存开销。为了稳定恢复完整的物理参数,我们进一步结合零样本文本提示分割与仿真引导初始化,自动将高斯基元划分为对象部件级区域,并对完整材料参数进行联合优化。在合成场景和真实场景上的实验表明,Resonance4D 能够获得较好的物理真实性和运动一致性,同时将峰值 GPU 显存占用从 35 GB 以上降低至约 20 GB,从而使高质量的物理驱动四维动态模拟可以在单张消费级 GPU 上完成。

论文十四

论文题目:Structure-Spreading Gaussian Splatting for Sparse Aerial Novel View Synthesis

论文作者:王懿婧,唐旭(通讯作者),马晶晶,张向荣,Mercedes E. Paoletti

作者单位:西安电子科技大学

论文概述:3D Gaussian Splatting(3DGS)在新视角合成任务中取得了显著进展。然而,对于稀疏视角航拍场景,由于存在大量完全位于训练视锥之外的未观测区域,这些区域既缺乏几何约束,也缺乏光度监督,导致重建过程存在严重欠约束问题。现有方法要么仅针对已观测区域进行优化,要么依赖难以迁移至航拍场景的地面场景先验,因此难以实现高质量的未观测区域重建。针对上述问题,本文提出一种结构扩展3DGS方法,通过将已观测区域的几何结构和外观信息逐步扩展至未观测区域,实现稀疏视角航拍场景的新视角合成。首先,提出几何锚定一致性初始化,利用双频残差优化约束多视角深度估计之间的度量一致性,构建覆盖已观测区域的稠密可靠点云。随后,提出基于观测几何的结构扩展,利用已观测区域的几何信息对未观测区域深度进行外推,并通过反投影生成对应的三维结构,实现未观测区域的几何初始化。最后,提出可靠性感知渐进优化,第一阶段利用伪视角监督建立未观测区域一致的几何与外观表示,第二阶段固定几何结构,并结合可靠性筛选机制对监督信号进行过滤,以有效抑制伪影并提升重建质量。在LEVIR-NVS和3D-AS数据集上的大量实验结果表明,所提出的方法在新视角合成质量方面均优于现有代表性方法,验证了其有效性和优越性。

论文十五

论文题目:GeoHand: Unlocking Prior Geometry Knowledge for Monocular 3D Hand Reconstruction

论文作者:林伟权,胡耀清,戴粱琛,唐旭,陈星宇(通讯作者)

作者单位:西安电子科技大学,北京理工大学,北京中关村学院

论文概述:单目3D手部重建本质上是几何问题,其核心挑战在于:如何从单一RGB图像中准确恢复具有高自由度且存在严重自遮挡的复杂手部结构。然而,现有模型普遍面临局限:一方面,纯RGB方法依赖外观特征隐式推断3D几何,难以解决深度模糊与手物交互引起的拓扑歧义;另一方面,引入深度传感器的多模态方法不仅依赖昂贵的硬件部署与难以大规模采集的配对数据,且原始深度图常含噪声与缺失值,难以直接用于精细手部结构恢复。为此,我们提出了GeoHand框架。该框架创新性地从冻结的基础单目几何估计模型中解锁高质量的几何先验,在保持纯RGB输入简洁性的同时,显式提供高保真的空间结构线索。针对通用场景几何特征与局部手部结构之间的域鸿沟,我们引入了轻量级的校准器GeoAdapter,在输入骨架网络前自适应地重新校准空间特征。为避免几何先验淹没固有的RGB外观线索,我们采用门控跨模态Token融合策略将两者无缝整合。此外,为实现精确的局部关节修正,我们设计了关键点查询迭代细化器KQIR,利用投影的关节位置查询几何感知图像特征,从而将全局几何消歧转化为针对性的局部空间校正。在FreiHAND、DexYCB和HO3Dv3等多个基准数据集上的全面实验表明,本方法达到了SOTA性能。特别是在严重遮挡和手物交互等极具挑战性的场景下,GeoHand表现出卓越的鲁棒性。

论文十六

论文题目:Enhanced LSTM with Robust Memory and Motion Learning for Event-based Object Detection

论文作者:马居坡,张星宇,杨文(通讯作者),吴金建

作者单位:西安电子科技大学

论文概述:随着事件视觉感知技术的发展,事件目标检测的核心挑战在于:如何在复杂动态场景下实现稳定的时序建模与准确定位。现有方法多依赖传统 LSTM 聚合时序信息,但单一全局记忆易受事件响应波动和过时信息干扰,导致记忆更新不稳定;同时,隐式时序建模缺乏对运动趋势的显式刻画,在事件稀疏或骤减时容易产生定位偏差。为此,我们提出记忆与运动协同增强框架 EDeMM。该框架通过双阶段长短期记忆网络 DPLSTM,联合建模局部时序变化与全局历史依赖,增强动态事件流下的记忆鲁棒性;同时设计运动增强模块 MEM,通过运动估计与补偿补充缺失事件,强化目标运动表征与定位能力。实验表明,EDeMM 在多个事件目标检测数据集上取得了优于现有方法的性能。

论文十七

论文题目:DFPR: Dynamic Fine-Grained Perceptive Bidirectional Image-Text Retrieval

论文作者:马梦茹,梁朔,马文萍(通讯作者),李玲玲,刘旭,许琮

作者单位:西安电子科技大学

论文概述:随着高分辨率对地观测数据快速增长,遥感影像—文本检索已成为连接遥感影像与自然语言的重要跨模态任务。由于遥感影像具有俯视视角、目标尺度小和背景复杂等特点,其文本描述又常包含实体、属性、空间关系及数量等组合语义,现有参数高效微调方法难以同时实现细粒度语义对齐、背景干扰抑制和双向检索的均衡优化。针对上述问题,本文提出动态细粒度感知双向图文检索框架DFPR。该框架通过多结构混合专家模块解耦文本中的不同语义角色并提取实体锚点,利用谱图引导聚焦模块,在实体语义指导下抑制视觉背景噪声、聚合关键目标特征,进一步通过双向校准约束机制动态调节影像到文本与文本到影像的训练权重,缓解双向检索中的优化偏置。在RSITMD、RSICD和UCM-Captions等公开数据集上的实验表明,DFPR在保持参数高效的同时取得了更好的性能。消融实验与可视化结果进一步验证了DFPR在细粒度语义建模、目标区域聚焦和双向检索优化方面的有效性。

论文十八

论文题目:StyleHCD: A Fast Adaptation Paradigm for Hyperspectral Change Detection via Style-conditioned Parameter Injector

论文作者:王冠淳, 徐欣畅, 张向荣(通讯作者), 张伊菲, 彭泽林, 张天扬, 唐旭

作者单位:西安电子科技大学

论文概述:高光谱遥感影像为地表变化监测提供了丰富的光谱特征。然而,现有的高光谱变化检测(HCD)方法在处理参考影像与新观测影像时,通常需要进行全量重新训练,这导致计算成本过高,难以满足动态监测的实际需求。本文观察到成像条件的偏移是引发该问题的主要诱因,并据此提出了一种高效的高光谱变化检测参数调制范式StyleHCD。该范式将检测器解耦为两个核心组件:一部分是基于初始双时相影像对训练的基础检测器用于预测地物覆盖变化,另一部分是风格条件参数注入器(SPI)用于感知非语义因素变化。当接收到新观测数据时,StyleHCD冻结基础检测器,并利用SPI从观测光谱特征中自适应生成特定场景的参数。具体而言,SPI 首先采用基于敏感度感知的参数选择(SPS)策略来定位风格敏感层,进而通过参数空间重校准(PSR)机制实现知识的高效注入。此外,本文还通过模拟不同成像条件下的高光谱时间序列,构建了动态高光谱变化检测基准数据集。大量实验结果表明,将StyleHCD与高光谱预训练基准模型结合,可实现与全量重训练相当的精度且仅需0.004%可训练参数。

ACM MM是计算机图形学与多媒体领域的国际顶级会议之一,也是CCF分类的A类会议,近年来投稿量逐年增加。据其官网数据显示,2026年度ACM MM总投稿量为7053份,被录用的论文主题涵盖了计算机图形学与多媒体领域的各项前沿工作。

编辑|王昕怡 张卓莹

审 核|张 丹

本文系学术转载,如有侵权,请联系CVer小助手删文

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2026-07-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CVer 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档