
Embedding 模型从文本扩展到图片、视频和视觉文档之后，训练需要处理的数据类型和任务也变得更加复杂。如何把不同模态、不同任务的数据组织进同一套训练体系，并学习统一的多模态表示，正成为训练中的一个核心问题。

上周，微信团队发布了 WeMM-Embedding 技术报告，并开源了 2B、4B 和 9B 三个版本。模型支持文本、图片、视频、视觉文档以及交错多模态输入，并应用于微信内部的搜索和推荐场景。

「[WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report](https://arxiv.org/pdf/2608.24053)」论文采用两阶段训练方案：**第一阶段用数亿级异构数据完成大规模多模态对齐**，**第二阶段再通过数据重采样、质量清洗、难负样本、Reranker 和模型蒸馏进一步提升表示能力**。

在这篇文章里，我们将从训练数据、Batch 构造和两阶段训练策略入手，看看微信是如何训练一个多模态 Embedding 模型的。

## 多模态训练数据的统一组织

WeMM-Embedding 面对的第一个问题，是训练数据之间存在很大差异。论文中显示的训练数据主要包括六类：

- 图文、视频文本等弱监督配对数据；
    
- 描述实体、属性、关系、动作、空间和时间信息的图像/视频描述数据；
    
- 实例、文档、时刻定位、组合查询、推理、工具和 GUI 等检索数据；
    
- 商品、视频、文章等带多级相关性的配对数据；
    
- 物体、场景、动作等分类数据；
    
- OCR、文档、图表、知识、空间关系和推理等问答数据。
    

这些数据覆盖文本、图片、视频以及交错多模态输入，来源包括公开数据集、Web 级弱监督数据、面向任务生成的合成数据，以及微信内部数据。第一阶段使用的数据规模达到数亿对。

![1.png](https://developer.qcloudimg.com/http-save/yehe-12464096/caaf58151a8c38fdce1662310d9b5313.png)

图 1：多模态训练数据概述图

面对这些差异很大的任务，微信团队没有为每种任务建立独立的数据结构，而是把训练样本统一表示成一个 Pair：

$$z_i=(I_i,q_i,c_i,N_i,y_i$$

其中包含五个元素：

- Iᵢ：可选的任务指令；
    
- qᵢ：Source，也就是查询侧输入；
    
- cᵢ：与 Source 匹配的 Target；
    
- Nᵢ：可选的显式难负样本（Hard Negative，下面简称：难负样本）；
    
- yᵢ：可选的相关性分数。
    

Source 和 Target 都可以是文本、图片、视频，也可以由多种模态交错组成。

经过这种转换，大量看起来差异很大的任务，都能够进入同一种训练接口：**给定一个 Source，在候选空间中找到与它匹配的 Target。**图文检索可以写成图片与文本 Pair，分类任务可以转成输入与类别描述 Pair，视觉问答可以转成问题与答案 Pair，工具检索也可以转成查询与工具描述 Pair。

不同任务依然保留各自的语义，但进入训练管线之后，可以共享同一套 Source-Target 数据结构。

## 多模态 Embedding 的表示提取

数据结构统一之后，接下来是如何从原生多模态模型中得到 Embedding。

**WeMM-Embedding 基于 Qwen3.5 的原生多模态架构构建**。文本、图片和视频经过各自的处理流程后，会按照原始输入顺序排列成一串 Token。

微信团队在序列结尾加入一个专门的 `<embedding>` Token。

```Plain
文本 / 图片 / 视频 / ...
          ↓
Multimodal Tokens
          ↓
<embedding>
          ↓
Qwen3.5
          ↓
最后一层 <embedding> Hidden State
          ↓
L2 Normalize
          ↓
Embedding
```

模型完成前向计算后，取 `<embedding>` 对应的最后一层隐藏状态，再进行 L2 归一化，得到整段多模态内容的向量表示。

这个设计有一个比较灵活的点，就是一段输入中可以放入多个 `<embedding>` Token。论文举了视频和语音转写的例子。可以在视频 Token 后加入一个 `<embedding>`，再在视频与 ASR 文本之后加入另一个 `<embedding>`。

一次前向计算便可以得到两种表示：

```Plain
视频
  ↓
Video Embedding

视频 + ASR 文本
  ↓
Video-Text Embedding
```

通过这种方式，同一个输入序列可以同时生成面向不同下游需求的向量。

## 模型训练的第一阶段

WeMM-Embedding 的训练分为两个阶段。

第一阶段使用数亿规模的训练数据，目标是**建立一个覆盖范围足够广的通用多模态表示空间**。这个阶段会从前面提到的六类数据中采样训练，其中一个关键设计是 Batch 的构造方式：同一个 Batch 中的样本来自同一数据源和同一任务。

对于普通的 Source-Target 配对数据，模型采用 InfoNCE 对比学习。每条样本对应的 Target 是正样本，同一 Batch 中其他样本的 Target 则作为负样本；如果数据本身包含显式难负样本，也会一并加入负样本集合。

这里，Batch 如何构造会直接影响 In-batch Negative 的质量。

如果把分类、视频检索、文档检索和图文匹配等不同任务混在同一个 Batch 中，其他样本虽然也会被当作负样本，但它们可能来自完全不同的候选空间，缺少有意义的比较关系，对模型学习细粒度区分能力的帮助有限。

而论文中的消融实验也证实了这一点。

![2.png](https://developer.qcloudimg.com/http-save/yehe-12464096/fb8a7baa73a8c405042f0ae5f1f60aca.png)

图 2：第一阶段数据分析

论文用 2B 模型做了一组小规模的第一阶段消融实验。结果显示，任务一致的 Batch 对效果影响最大：去掉这一设计后，MMEB-v2 的平均分从 71.9 降到 68.5，下降了 3.4 分；相比之下，去掉任务指令后下降 0.8 分，去掉重复感知 Mask 后下降 0.5 分。这说明，**多任务训练虽然可以共享统一的数据接口，但 Batch 内的样本仍需要来自相同任务，避免把缺乏有效比较关系的候选混在一起**。

除了任务之间的差异，In-batch Negative 还要处理假负样本。比如在分类任务中，两张图片都可能对应 `"dog"`，如果它们进入同一个 Batch，其中一条样本的 `"dog"` Target 就可能被另一条样本当作负样本参与训练。针对这类情况，WeMM-Embedding 会同时检查 Source 和 Target 的相似关系，对重复或语义近似的样本进行 Mask，避免它们互相成为负样本。上面的消融结果中，去掉重复感知 Mask 后，MMEB-v2 从 71.9 降到 71.4。对于大量样本可能共享 Target 的任务，这一步可以减少错误的负样本监督。

除了正负样本，部分搜索和推荐数据还包含更加细粒度的相关性。

```Plain
高度相关
相关
弱相关
不相关
```

对于这类数据，WeMM-Embedding 使用基于 CoSENT 的排序目标。

训练过程中，模型会比较不同 Source-Target Pair 之间的相关性顺序，并根据两组样本的相关性分数差距调整权重。相关性差距越大，排序错误受到的惩罚也越强。

训练目标由简单的 `正样本 > 负样本`扩展为 `高度相关 > 相关 > 弱相关 > 不相关`。

由此，第一阶段通过完成大规模多模态对齐、In-batch Negative 和多级相关性学习，先建立一个覆盖范围足够广的表示空间。

## 模型训练的第二阶段

第一阶段完成后，WeMM-Embedding 会从原有数据中筛出一套规模约为十分之一的精选训练集，用于第二阶段训练。相比第一阶段强调数据规模和任务覆盖，**第二阶段更关注语义分布、数据质量和难样本**，希望用更少的数据提供更有效的监督。

其中一个关键环节是基于 Semantic ID 的重采样。大规模训练数据很容易呈现长尾分布：部分高频语义模式反复出现，低频语义则覆盖不足。如果继续按照原始分布采样，模型会反复看到相似内容。

WeMM-Embedding 先使用中间 Checkpoint 对训练数据进行编码，再训练一个三层 RQ-KMeans 量化器，将每条样本映射成一个三段式 Semantic ID。随后根据不同 Semantic ID 的密度重新调整采样概率：

```Plain
高密度 Semantic ID
        ↓
降低采样比例

低密度 Semantic ID
        ↓
提高保留比例
```

这种重采样会降低高频语义模式的占比，让精选训练集覆盖更多不同的语义区域。

Semantic ID 在论文里还被用于线上系统。在微信的推荐场景中，多模态 Embedding 会进一步转换成 Semantic ID，用作索引和用户序列建模中的离散特征。

完成语义重采样后，训练数据还会进入质量清洗阶段。微信使用多模态大模型判断 Source-Target Pair 是否符合对应任务的语义关系，并过滤匹配错误的数据；对于部分文本字段，模型也会参与修正。

例如，从 Web 获取的图文和视频文本弱监督数据规模很大，但其中可能包含噪声、描述错误或语义偏差。多模态模型会尽量保留原始 Alt Text 的表达风格和信息粒度，同时修正会影响训练质量的内容。

整个第二阶段的数据精炼过程可以概括为：

```Plain
Stage 1
数亿级训练数据
      ↓
通用多模态表示空间

      ↓

Semantic ID 重采样
      ↓
质量清洗
      ↓

Stage 2
约 1/10 精选训练数据
```

第二阶段的数据量明显减少，但样本的语义覆盖和监督质量得到进一步整理。

### 监督信号增强

数据筛选完成后，第二阶段还会进一步增强训练样本提供的监督信号，其中一个重点就是难负样本的构造。

WeMM-Embedding 会根据不同模态采用不同的难负样本生成方式。对于文本 Target，多模态大模型会根据 Source 和正确答案生成语义接近、表面合理但实际错误的候选；对于图片和视频 Target，则使用 WeMM-Embedding 的中间 Checkpoint，从对应任务的真实候选池中检索语义相近的图片或视频。

这样一来，中间阶段训练出的 Embedding 模型又会反过来参与下一阶段的数据构造，形成一个训练闭环：

```Plain
训练 Embedding
      ↓
得到中间 Checkpoint
      ↓
从真实候选池检索难负样本
      ↓
构建精选训练数据
      ↓
进一步训练 Embedding
```

对于图片和视频，从真实候选池中挖掘难样本还有一个好处：负样本和模型上线后面对的候选分布更加接近，也减少了额外生成视觉内容的成本。

难负样本构建完成后，微信还训练了多模态 Reranker。针对同一个 Query，Reranker 会分别判断正确 Target 和多个难负样本的相关程度，并输出更细粒度的相关性分数：

```Plain
Candidate A   0.93
Candidate B   0.71
Candidate C   0.43
Candidate D   0.12
```

相比简单的正负标签，这些分数保留了不同候选之间更细的相关性差异。不过论文实验显示，Reranker 监督并非对所有任务都能带来稳定收益，因此第二阶段只在经过实验验证有效的任务上使用这类监督。

除了 Reranker，2B 和 4B 模型在第二阶段还会接受来自 9B WeMM-Embedding 的知识蒸馏。9B 模型作为冻结的老师模型，为较小模型提供额外的相似度监督。

这里蒸馏的重点，是老师模型在整个 Batch 中给出的候选相似度结构。例如，同一个 Query 面对多个 Candidate 时，老师模型可能产生这样的相似度分布：

```Plain
          A      B      C      D
Query    .91    .73    .28    .11
```

相比 One-hot 正负标签，这种分布保留了不同候选之间更细的语义距离。

训练时，模型会分别计算 Source→Target 和 Target→Source 两个方向的概率分布，再通过 KL 散度约束学生模型接近老师模型，把 9B 模型学到的多模态相似度结构传递给 2B 和 4B 模型。

对于 9B 模型，由于没有更大规模的同系列老师模型，微信采用了另一种方式：训练多个使用不同数据混合和训练配置的 Stage 2 模型，再通过模型合并得到最终版本。

### 训练策略的消融分析

论文通过一组累积消融实验，观察第二阶段各项策略带来的收益。

![3.png](https://developer.qcloudimg.com/http-save/yehe-12464096/4716b28676b6fa660456beeee229ec41.png)

图 3：第二阶段分析

整个第二阶段将 MMEB-v2 的分数从 75.7 提升到 77.9。其中，精选数据带来了 0.9 分增益；加入 Embedding 老师模型蒸馏后，分数又从 76.7 提升到 77.6，是这一阶段贡献较明显的策略之一。

Reranker 对整体指标的提升只有 0.1 分，但视觉文档任务从 78.5 提升到 79.1，也印证了前面的实验观察：这类监督对部分任务更有效，因此只用于经过验证的训练任务。最后一步增加视觉输入预算，包括更高分辨率的图片和更密集的视频帧采样，视频相关任务从 70.0 提升到 70.8。

从这组消融实验来看，第一阶段完成大规模表示对齐后，第二阶段的主要增益来自更精细的数据筛选、监督信号增强，以及跨规模知识迁移。

## Matryoshka 多维表示训练

Embedding 模型进入搜索和推荐系统后，还需要考虑向量带来的存储和检索开销。Embedding 维度越高，索引空间、向量存储和相似度计算的成本也会随之增加。

为此，WeMM-Embedding 引入了 Matryoshka Representation Learning。训练时，模型会同时在多个 Embedding 维度上计算目标；推理时只需进行一次前向计算，再截取完整向量前面的不同长度并重新归一化，就可以得到多种维度的 Embedding。

![4.png](https://developer.qcloudimg.com/http-save/yehe-12464096/2f490680fe9092d67bf03bf204a780d0.png)

图 4：不同 Embedding 维度下的性能表现

论文测试了 64 到 2048 维之间的模型表现。2B 模型压缩到 256 维后，图片和视频任务仍能保留 2048 维版本约 98.7% 的性能；提升到 512 维后，两类任务分别可以保留约 99.2% 和 98.8% 的性能。

不同任务对向量维度的敏感度并不相同。视觉文档在降维后的性能下降更明显，检索任务对向量长度的依赖也高于分类任务。不过当维度达到 256 之后，论文测试的分类、问答和检索任务都能保留完整维度模型超过 97% 的性能。

从部署角度看，如果业务更关注向量存储和检索效率，256 或 512 维是比较有参考价值的选择。

## 微信业务场景的线上验证

最终，WeMM-Embedding-2B 在 MMEB-v2 上取得 77.9 分，9B 模型则达到 80.6。除了公开 Benchmark，微信团队还构建了一套包含 26 个内部任务的评测集，覆盖分类、搜索、跨域内容匹配、文章相关性和视频相关性等场景。

在这套内部评测中，WeMM-Embedding-2B 的平均得分达到 72.0，高于对照模型 Qwen3-VL-Embedding-2B 的 60.9。

目前，WeMM-Embedding 被用于视频号、公众号和电商等推荐场景，参与候选召回、排序特征构建、用户序列建模和跨域内容理解；在搜索侧，则覆盖视频号视频、公众号文章和朋友圈内容。

论文还披露了 14 项线上 A/B 测试，多项指标取得持续收益，相关方案随后进入生产环境。

把前面的训练过程收束起来，WeMM-Embedding 的整体链路可以概括为：

```Plain
异构多模态数据
      ↓
统一 Source-Target Pair
      ↓
任务一致 Batch
      ↓
大规模对比学习
多级相关性学习
      ↓
通用多模态表示空间
      ↓
Semantic ID 重采样
数据质量清洗
Hard Negative
      ↓
Reranker 监督
Embedding Teacher 蒸馏
      ↓
Matryoshka 多维表示
      ↓
搜索 / 推荐
```

第一阶段通过大规模、多任务数据建立统一的多模态表示空间；第二阶段则缩小数据规模，通过重采样、数据清洗、难负样本和知识蒸馏，提高监督质量和相似度区分能力。

进入线上系统后，Matryoshka 多维表示和 Semantic ID 又进一步兼顾了向量存储、检索效率和推荐建模需求。

从工程实践角度看，WeMM-Embedding 的参考价值也在于此：多模态 Embedding 的训练效果除了依赖底座模型，也受到数据组织、Batch 构造、负样本质量和第二阶段训练策略的共同影响。

Embedding 模型从文本扩展到图片、视频和视觉文档之后，训练需要处理的数据类型和任务也变得更加复杂。如何把不同模态、不同任务的数据组织进同一套训练体系，并学习统一的多模态表示，正成为训练中的一个核心问题。

微信如何训练多模态 Embedding 模型

多模态 Embedding 模型训练的两个阶段…

人工智能

开发工具

算法

微信团队开源WeMM-Embedding多模态模型，支持文本、图片、视频及交错输入，采用两阶段训练：先大规模异构数据对齐，再通过SemanticID重采样、质量清洗、难负样本和知识蒸馏提升性能，并引入Matryoshka多维表示兼顾检索效率，已在微信搜索和推荐场景验证。

数据分析

数据清洗

数据接口

数据结构

代码解释

知识蒸馏

A/B测试

语音产品特惠新用户14.9元起


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

微信如何训练多模态 Embedding 模型-腾讯云开发者社区-腾讯云

微信如何训练多模态 Embedding 模型

微信如何训练多模态 Embedding 模型

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐