ECCV 2026 | 武大提出Unison：统一的音视频协同生成框架

来源：HUVPR-Lab

HUVPR-Lab 2026工作

导 读

本文介绍了武汉大学行为理解与视觉感知实验室（HUVPR-Lab）在ECCV2026上发表的研究成果。该工作针对以人为中心的音视频联合生成中长期存在的"语音-音效相互干扰"与"动作-音频不同步"两大难题，提出了一个统一的音视频协同生成框架 Unison。Unison提出"语义引导的音频解耦重组"与"双向跨模态强制对齐"两个策略，通过在音频流内部对语音与音效进行解耦-交互-重建，并在视频与音频之间构建双向去噪引导机制，实现了动作、语音、音效三者在语义与时间维度上的深度和谐统一。程世豪硕士为第一作者，涂志刚教授为通讯作者。

Part 1

任务背景&研究动机

以人为中心的音视频联合生成是数字人、影视创作、虚拟主播等应用中的关键技术。近年来，Veo 3、Sora 2、Wan 2.5等闭源模型以及Ovi、UniAVGen、LTX-2等开源模型相继涌现，展现出优秀的创作能力。然而，现有方法在生成类似"弹唱"这类复杂音频场景时，仍普遍存在两大天然缺陷：

1)音频流内部干扰严重：语音（Speech）与音效（SFX）在同一音轨中相互掩蔽，语音成分往往过度主导整个混音，压制了环境音与瞬态声效，导致听感"扁平化"。

2) 跨模态信息不对齐：动作与音频之间通常仅通过架构层面的交叉注意力隐式耦合，缺乏显式的同步优化目标，导致嘴型、手势与语音起始点、乐器敲击等声学事件出现明显错位。

如何在统一框架内同时解决音频内部的"语音-音效干扰"并建立稳健的"动作-音频"双向对齐，是当前以人为中心视频生成研究的核心痛点。针对这一挑战，Unison 提出"语义引导的音频解耦重组 → 双向跨模态去噪强制 → 渐进式课程训练"的新路线，为多模态和谐生成带来了全新策略。

图1 Unison方法总览。左侧为以往方法普遍存在的动作-语音、动作-音效、语音-音效三重失配问题，中间为Unison提出的双向跨模态强制对齐与语义引导音频和谐化两大策略，右侧为Unison在三个维度上实现的高度和谐匹配结果。

Part 2

方法介绍

Unison的整体流程如图2所示。该框架采用双分支架构：视频分支基于 Wan2.2-5B，音频分支采用 MMAudio 并引入 Zipformer 以支持语音生成，两分支通过帧级双向交叉注意力实现深度信息交互。整体设计打破了"语音与音效混在一路生成"以及"音视频共享同一去噪时间步"的固有范式，通过两项关键策略实现端到端的和谐生成。

1. 语义引导的音频和谐化策略

Unison在音频分支内部将语音与音效解耦为双流表征，并通过两个核心模块实现二者的交互与重组：

-双向音频交叉注意力（Bi-ACA）：将音频流拆分为语音和音效进行分离生成，之后再经"拼接-联合建模-拆分"循环，使二者既能共享全局声学上下文，又能保留各自独立的结构特性； -语义条件门控（SCG）：以字幕（caption）与转录文本（transcription）的全局语义向量作为条件，动态预测语音与音效两路的门控系数，在旁白密集场景中自适应抑制音效对语音的干扰，在复杂声景中放大音效作用影响以丰富非语音层次，实现内容自适应的音频重组。此外，Unison利用 Mel-RoFormer 将真实混合音频解耦为高保真语音与音效潜变量作为监督信号，通过独立的流匹配损失对双流分别进行显式监督，从源头消除声学歧义。

图2 Unison的网络结构图（左侧）以及语义引导的音频和谐化策略（右侧）

2. 双向跨模态强制对齐策略 针对动作-音频不同步问题，Unison突破以往"音视频共用同一时间步"的做法，独立采样视频与音频的去噪时间步 t_v 与 t_a，允许两模态以不同噪声水平去噪。其核心思想是：噪声更小、状态更"干净"的模态自然承载更可靠的语义信息，应主动引导另一模态的去噪轨迹。为此，Unison 引入方向感知的自适应损失重加权，对更嘈杂的一侧施加更大梯度权重，迫使其从对侧提取更强的跨模态监督信号，从而在异构收敛速率下建立稳定的双向依赖。

图3 双向跨模态强制对齐策略

核心贡献：

1)提出了统一音视频生成框架 Unison：首次在同一模型内显式建模动作、语音、音效三者的和谐关系，突破了以往音视频松耦合、语音主导整个音轨的局限。

2)设计了语义引导的音频和谐化策略：通过双向音频交叉注意力（Bi-ACA）与语义条件门控（SCG）的协同，实现语音与音效的解耦交互与自适应重组，显著提升音频的可控性与层次感。

3)提出了双向跨模态强制对齐策略：通过解耦时间步 + 方向感知损失重加权，让"更清晰"的模态引导"更嘈杂"的模态，配合三阶段渐进式课程训练，实现稳健的动作-音频同步。

4)显著提升了以人为中心视频的综合生成质量：在音频保真度、字幕一致性、唇音同步、跨模态语义一致性等多个维度上全面刷新SOTA，并天然支持A2V与V2A双向生成。

Part 3

实验结果

实验结果充分证明了Unison方法在以人为中心音视频联合生成任务下的优越性。

1)真实复杂场景泛化力强：在雨中弹唱、火车车厢独白、海边冥想、钢琴演奏等多种以人为中心场景下，Unison 能够精准同步嘴型、手指动作与语音、乐音、环境声，避免了对比方法普遍出现的"语音延迟"、"音效缺失"、"身份漂移"等问题。

2)以更小视频主干实现优异性能：Unison 仅使用 5B 视频主干，参数量约为 LTX-2 的 1/4，却在整体感知质量与跨模态同步性上与之相当或更优，体现出架构创新带来的高效性。

3)音频保真度与文本对齐显著领先： Unison 在感知质量（PQ=6.34）、内容有用性（CU=5.61）与词错误率（WER=0.22）三项音频指标上均取得最佳，显著优于 Universe-1、Ovi、UniAVGen、MOVA 等代表性方法（表1）。

图4 定性实验结果 与MOVA 等的定性对比。 Unison 实现了运动与多样化声学组件之间的精确同步，并具有更优越的声学分层效果在保持清晰可懂语音的同时，不会抑制显著的环境音频。

表1 定量实验结果

Part 4

结论

本研究工作创新性地提出了 Unison 框架，通过构建"语义引导的音频解耦重组 + 双向跨模态强制对齐 + 渐进式课程训练"这一新技术路线，有效解决了以人为中心音视频生成中长期存在的语音-音效相互干扰与动作-音频时间失同步两大难题。该方法在音频感知质量、文本一致性、跨模态同步性以及复杂真实场景泛化能力等方面均表现突出，并天然支持 A2V 与 V2A 的双向生成，为面向数字人、虚拟主播、影视创作等应用的"高保真、强同步、听感和谐"的多模态内容生成提供了一种通用解决方案。

本文系学术转载，如有侵权，请联系CVer小助手删文