- 综合排序
- 最热优先
- 最新优先
多模态数据与模型协同进化的自我推理框架
摘要多模态大语言模型（MLLMs）近期展现出卓越的推理能力，但进一步提升模型性能需要高质量视觉语言数据集，其标注成本高昂且难以扩展。 方法提出C2-Evo自动闭环自改进框架，通过双循环机制协同进化训练数据与模型能力：跨模态数据进化循环：基于初始数据集生成复杂多模态问题，结合结构化文本子问题与迭代生成的几何图表数据-模型进化循环：根据基础模型表现自适应选择生成问题
24610编辑于 2025-09-17- 来自专栏AgenticAI
打破模态壁垒!上海 AI Lab & 港科大提出HM-RAG：多模态多智能体协同RAG系统
本文提出 HM-RAG，旨在通过多代理架构，动态整合结构化、非结构化和图形化数据，更有效地支持多模态问答和复杂查询。 2. 实验设计与结果 作者在 ScienceQA[1] 和 CrisisMMD[2] 两个多模态数据集上进行评估。 ScienceQA数据集表现 CrisisMMD 这些结果表明：多代理与多模态的结合，提升了对复杂查询的理解和生成质量。系统在统一框架下高效整合异构知识，是跨模态 RAG 的有效路径。 4. 而 HM-RAG 的图像代理成功识别出图中摄食关系，发现黑鲈是捕食者而非初级消费者；同时，文本代理从教科书中提取了初级消费者的定义，图文融合机制协同工作，最终推理出正确答案为 copepod（桡足类）。 这些结果表明：HM-RAG 通过多智能体协作，有效发挥各代理的模态专长，支持复杂场景下更细致和准确的推理过程，体现出其在多模态任务中的显著优势。 5.
66610编辑于 2025-04-22 - 来自专栏我爱计算机视觉
EMNLP 2021-多模态Transformer真的多模态了吗？论多模态Transformer对跨模态的影响
Motivation 视觉语言BERT模型扩展了BERT架构，以生成多模态输入的跨模态上下文表示。当对一系列下游任务进行微调时，这些模型已被证明是非常有效的。 如果测试过程中，去除某个模态的信息，对最终结果影响很大，那这个模态在最终预测的时候就是有用的；否则这个模态就是没用的。 多模态模型在预测时使用由多模态输入触发的跨模态激活。 这是原始的多模态设置，因此，有效使用多模态信息的模型应该表现最好。 Object： 在这里，作者只删除与对齐的文本短语相对应的图像区域，该模型仍然可以使用周围的视觉上下文特征 。 测试的模型显示了vision-for-language，而不是language-for-vision的结果，这一事实可能是多模态任务的积累，因为一些下游多模态任务需要强烈的 vision-for-language ▊ 作者简介 研究领域：FightingCV公众号运营者，研究方向为多模态内容理解，专注于解决视觉模态和语言模态相结合的任务，促进Vision-Language模型的实地应用。
2.5K20发布于 2021-09-28 AI编程再突破，文心快码发布行业首个多模态、多智能体协同AI IDE
百度副总裁陈洋现场发布了文心快码独立AI原生开发环境工具——Comate AI IDE，是行业首个多模态、多智能体协同的AI IDE，首创设计稿一键转代码，开箱即用，为国内企业和开发者打造高效、智能、安全可靠的 文心快码推出的Comate AI IDE，在 “智能”、“拓展”、“协同”、“灵感”四大方面实现全方位链接，具备多项核心能力：AI辅助编码全流程、多智能体协同、多模态能力增强、支持MCP等，已成为AI时代工程师的 多模态能力也是这次Comate AI IDE的亮点之一，尤其在前端场景做了场景化增强。 会上，文心快码同时宣布“Comate Next计划”正式启动，向全球开发者与企业开放深度共建通道，加速AI驱动的人机协同研发范式落地。 该计划提供了全新进化的云端工作台，帮助开发者告别本地配置与协作的困境，首创“多智能体协同系统”，支持开发者自定义智能体或直接下达任务。同时面向企业提供专家1v1交流等深度共建权益。
17300编辑于 2025-06-24- 来自专栏通用文字识别信息技术白皮书
PRCV 2023：语言模型与视觉生态如何协同？合合信息瞄准“多模态”技术
本次大会通过聚焦中国模式识别与计算机视觉领域的最新理论和技术成果解读、分享，进一步加强产学研领域的学术交流和技术碰撞，促进模式识别与计算机视觉领域的协同合作与融合创新。 智能文档处理技术是学术界重点关注的领域，而随着信息渠道的多样化发展，异构化、跨模态的数据层出不穷。文档图像是文字与图片领域的交集点，天然具备多模态属性。 在《视言碰撞：语言模型与视觉生态协同论坛》上，合合信息图像算法研发总监郭丰俊博士就文档图像前沿技术热点话题进行了分享。 郭丰俊表示，多模态技术可充分利用文档图像的视觉和语言属性，并借助语言大模型已取得的优异性能和技术积累，正逐渐成为文档图像处理领域的热门研究方向。 “从目前评测的情况来看，已知的多模态预训练系统在文档图像识别准确率上还逊于最先进的OCR识别系统。”
60130编辑于 2023-10-17 - 来自专栏存内计算加速大模型
腾讯发表多模态综述，什么是多模态大模型
多模态大语言模型（MLLM）是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。 在本文中，追踪多模态大模型最新热点，讨论多模态关键技术以及现有在情绪识别上的应用。 ，并且提供了现有主流的 26 个多模态大模型的简介，总结了提升多模态大模型性能的关键方法，多模态大模型脱胎于大模型的发展，传统的多模态模型面临着巨大的计算开销，而 LLMs 在大量训练后掌握了关于世界的 多模态大模型的整体架构可以被归类为如下图的五个部分，整个多模态大模型的训练可以被分为多模态理解与多模态生成两个步骤。 多模态理解包含多模态编码器，输入投影与大模型主干三个部分，而多模态生成则包含输出投影与多模态生成器两个部分，通常而言，在训练过程中，多模态的编码器、生成器与大模型的参数一般都固定不变，不用于训练，主要优化的重点将落在输入投影与输出投影之中
5.7K13编辑于 2024-05-14 agent多模态学习
二、多模态 Agent 的整体架构 一个完整的多模态 Agent 系统通常包含以下层次，其数据流如下： 用户多模态输入 → 多模态感知层 → 意图理解与规划层 → Agent 协作层 → 工具/环境交互层 → 反馈与优化层 → 多模态输出 2.1 多模态感知层 (Multimodal Perception Layer) 作为系统的“感官”，负责将原始的多模态输入转换为结构化的特征向量。 四、多模态意图理解与任务规划 4.1 多模态意图识别 多模态意图识别旨在从用户的文本、图像、语音等多种输入中，准确判断其核心需求。 多模态分类模型：训练一个分类器，输入为多模态特征，输出为意图标签。 LLM 直接判断：利用 GPT-4V 等具备视觉能力的模型，直接分析多模态输入并输出意图。 七、多模态内容生成 7.1 文本生成 基于融合后的多模态上下文，LLM 可以生成更精准、丰富的文本回复。
55210编辑于 2026-01-15- 来自专栏默语精选博客
AI编程再突破，文心快码发布行业首个多模态、多智能体协同AI IDE
百度副总裁陈洋现场发布了文心快码独立AI原生开发环境工具——Comate AI IDE，是行业首个多模态、多智能体协同的AI IDE，首创设计稿一键转代码，开箱即用，为国内企业和开发者打造高效、智能、安全可靠的 文心快码推出的Comate AI IDE，在“智能”、“拓展”、“协同”、“灵感”四大方面实现全方位链接，具备多项核心能力：AI辅助编码全流程、多智能体协同、多模态能力增强、支持MCP等，已成为AI时代工程师的 多模态能力也是这次Comate AI IDE的亮点之一，尤其在前端场景做了场景化增强。 会上，文心快码同时宣布“Comate Next计划”正式启动，向全球开发者与企业开放深度共建通道，加速AI驱动的人机协同研发范式落地。 该计划提供了全新进化的云端工作台，帮助开发者告别本地配置与协作的困境，首创“多智能体协同系统”，支持开发者自定义智能体或直接下达任务。同时面向企业提供专家1v1交流等深度共建权益。
38440编辑于 2025-06-24 - 来自专栏CSDN社区搬运
多模态COGMEN详解
在本文中，我们提出了基于 COntex- tualized Graph Neural Network的多模态情感识别COGMEN）系统，该系统利用了本地信息（即说话人之间的内/外依赖性）和全局信息（上下文 “iemocap_4” --modalities=“atv” 部署方式 下载我训练好模型，以及数据集，附件里有data，modelcheckpoint文件夹，分别替换代码中的文件夹即可，我对每个单独的模态都有训练
33210编辑于 2024-12-05 【多模态大模型】
多模态大模型的核心能力 多模态大模型通过融合视觉、听觉、文本等多维度数据实现综合理解与生成。典型应用包括： 图像到文本：识别图片内容并生成描述、广告文案或诗歌。 跨模态检索：根据文本搜索相关图像/视频，或反之。 代表模型如GPT-4V（视觉增强版）、通义千问多模态版、文心一言（ERNIE-ViLG）均支持此类任务。 多模态对齐：模型将图像特征与文本语义空间对齐，生成候选描述。 输出优化：通过强化学习调整生成文本的流畅性与吸引力。 模型训练与优化要点 数据准备：需对齐的多模态数据集（如COCO-Captions、AudioSet）。 多模态大模型的应用需结合具体场景调整输入预处理与后处理逻辑，以达到最佳效果。
35310编辑于 2026-01-20- 来自专栏多模态视频理解
多模态算法综述
在UCF101数据集上达到了87%的准确率图片（2）Beyond Short Snippets: Deep Networks for Video Classification，尝试了多种多帧帧见融合策略如 自注意力至此视频理解算法演进到了Transformer的自监督网络架构，Transformer有两个优势，（1）更强的网络表征能力，（2）更容易设计自监督的训练任务，从而可以更有效的利用无标注数据，同时也更加注重多模态的内容理解 Vision-language Understanding with Contrastive Learning图片ALBEF包含一个图像编码器（ViT-B/16），一个文本编码器（BERT的前6层），以及一个多模态编码器 、多模态预训练方面提供大量的帮助，也给后来的文章提供了崭新的思路BLIP（Bootstrapping Language-Image Pre-training for Unified Vision-Language BLIP采用了判断-生成任务的MED，可以作为单模态编码器，基于图像的文本编码器解码器采用了CapFilt的训练方法，降低噪声图文pair对训练造成的影响图片Mult-streamMult-stream
3.2K30编辑于 2022-07-12 - 来自专栏一点人工一点智能
多模态认知计算
进而，根据机器对多模态信息的认知模式，从多模态关联，跨模态生成和多模态协同这 三个方面对现有方法进行了梳理与总结，系统地分析了其中的关键问题与解决方案。 作为多模态认知计算的三条主 线，多模态关联，跨模态生成和多模态协同是提升机器认知能力的有效途径，已成为国内外科研人员密切关注的研究热点。 人类可以轻松自如地对视，听，嗅，味，触等多模态感知进行归纳融合，并进行联合演绎，以做不同的决策和动作。在多模态认知计算中，多模态协同是指协调两个或者两个以上的模态数据，互相配合完成多模态任务。 同时，建立在视觉，声音和文本等模态上的多模态协同研也究取得长足发展。本章节重点总结了多模 态协同中的模态融合与联合学习方法。其中，模态融合分为前期，后期和混合融合策略，如图6所示。 然后，阐述了多模态关联，跨模态生成，多模态协同三个主线任务的理论联系，对各项任务进行了 统一。通过对现有方法的分析与对比，较为全面地展示了多模态认知计算的发展现状和关键技术。
96230编辑于 2022-12-27 - 来自专栏素质云笔记
多模态＋Recorder︱多模态循环网络的图像文本互匹配
为了验证提出的选择式多模态循环神经网络的有效性，我们测试了该模型衍生出的多种网络结构，并在两个公开多模态数据库(Flickr30k和Microsoft COCO)上与当前最好方法进行了对比。 所提出的选择式多模态循环网络是一个动态模型，在每一时间步，它利用基于上下文的多模态注意机制选择图像文本中语义上相同的目标和词语，并计算其相似性作为图像文本的局部相似性，然后进行序列化融合得到全局相似性。 考虑到草图与自然图像可能存在多视角的特征表达，且不同的视角作用差异较大，我们提出了一种基于视角选择的多视角跨模态匹配算法。 我们在两个经典的细粒度草图-图像数据集上进行了大量的实验，结果表明所提出的方法可以有效利用多模态多视角特性并提升检索性能。 多模态搜索 网络上充斥着来自不同数据源的多模态多媒体数据；因此，亟需能够适应各种模态的信息检索系统，例如，在搜索“Dunkirk”电影时，应返回影评的相关文本数据、包含相关视频片段的视频数据、以及相关音频数据
2.8K20发布于 2019-05-26 - 来自专栏最新Python入门基础合集
基于 Flink 的实时推荐系统：从协同过滤到多模态语义理解
基于 Flink 的实时推荐系统：从协同过滤到多模态语义理解 嘿，各位技术小伙伴们！在这个信息爆炸的时代，你是不是常常惊叹于各大平台仿佛能 “读懂你的心”，精准推送你感兴趣的内容呢？ 今天，小编就带大家深入探寻背后的神奇技术 —— 基于 Flink 的实时推荐系统，从协同过滤一步步迈向超酷的多模态语义理解。准备好开启这场奇妙的技术之旅了吗？ 要在实时推荐系统中实现多模态语义理解，可以从以下几个方面入手： 多模态数据融合：收集用户的文本评论、浏览的图片、观看的视频等多模态数据，并将它们进行融合。 也可以使用一些多模态融合的深度学习模型，如多模态 Transformer，直接对多模态数据进行联合学习和分析。 实时处理与更新：在实时推荐系统中，数据是不断产生的。 结语 好啦，小伙伴们，关于基于 Flink 的实时推荐系统从协同过滤到多模态语义理解的全部内容就到这里啦！希望通过这三篇文章，大家对这个神奇的技术领域有了更深入的了解和认识。
79810编辑于 2025-05-17 - 来自专栏人工智能
短视频平台内容推荐算法优化：从协同过滤到多模态深度学习
短视频平台内容推荐算法优化：从协同过滤到多模态深度学习引言：为什么推荐系统决定短视频平台的生死在抖音、快手、TikTok 等平台中，用户平均停留时长超过 60% 由推荐系统决定。 本文将深入探讨短视频推荐系统的核心算法演进，并给出一个基于多模态内容+用户行为序列的深度学习推荐模型的完整代码实现。 短视频推荐系统的核心挑战挑战类型描述冷启动新用户/新视频无历史交互数据多样性用户兴趣漂移，防止信息茧房实时性用户行为需秒级反馈到推荐结果多模态视频包含文本、图像、音频、音乐、人脸等多维信息长短期兴趣融合用户既看 “即时爽点”，也有长期兴趣算法演进路线：从协同过滤到多模态深度模型协同过滤（CF）时代：User-Based & Item-Based早期短视频平台使用ItemCF为主，基于用户-视频交互矩阵：# 简化版 内容召回阶段：双塔模型（DSSM）+ 多模态特征现代系统采用召回+排序+重排三级架构。召回阶段使用双塔模型将用户和视频嵌入同一空间。
1.1K00编辑于 2025-09-16 - 来自专栏音乐与健康
多模态很简单，搞懂多模态，站在 AI 发展的最前沿
现实世界的信息是多模态的（Multi-Modal），比如：视频 = 图像+声音+文本字幕自动驾驶 = 摄像头+激光雷达+毫米波雷达+GPS医疗AI = X光片+病历文本+基因数据 多模态融合（Multi-Modal 今天，我们就来深入拆解多模态融合的奥秘！多模态到底是什么？ “模态” 就是信息的不同形式，比如：举个例子️：你在看一部电影，如果只看画面没声音，体验是不是很割裂？ 所以，多模态融合就是让AI像人一样，把各种信息整合在一起，提高理解能力！多模态融合有哪些方式？ 多模态融合一般分三大类：1️⃣ 早期融合（Early Fusion）—— 数据级融合 特点：在模型输入阶段，先把所有模态的数据合并成一个大“拼盘”，然后喂给模型。 多模态音乐治疗（多感官刺激睡眠疗法），包括声刺激抑制听觉警觉，动态光照重置生物钟，电磁刺激修复脑波节律，芳香分子安抚情绪，它们像精密齿轮般咬合，相辅相成，从不同感官通路“包抄”失眠的症结，让每一个失眠患者重拾安稳睡眠
1.3K10编辑于 2025-07-29 - 来自专栏全栈程序员必看
多模态情感识别_多模态融合的情感识别研究「建议收藏」
情感表达的模态包括面部表情、语音、姿势、生理信号、文字等,情感识别本质上是一个多模态融合的问题。 提出一种多模态融合的情感识别算法,从面部图像序列和语音信号中提取表情和语音特征,基于隐马尔可夫模型和多层感知器设计融合表情和语音模态的情感分类器。 提出的多模态识别算法较好地利用了视频和音频中的情感信息,相比于仅利用语音模态的识别结果有较大的提升,相比于表情模态的识别结果也有一定改进,是一种可以采用的情感识别算法。
1.7K10编辑于 2022-06-24 - 来自专栏学习
机器学习——多模态学习
多模态学习：机器学习领域的新视野 引言 多模态学习（Multimodal Learning）是机器学习中的一个前沿领域，它涉及处理和整合来自多个数据模式（如图像、文本、音频等）的信息。 随着深度学习的蓬勃发展，多模态学习在许多应用领域中获得了广泛关注，例如自动驾驶、医疗诊断、智能助理等。本篇博客将深入探讨多模态学习的概念、方法以及一些代码示例，帮助读者更好地理解这一重要课题。 什么是多模态学习？ 多模态学习旨在同时处理来自不同模态的数据，从而提高模型的表现能力。 多模态学习的挑战 多模态学习面临一些独特的挑战，例如： 模态间的异质性：不同模态数据的性质差异较大，例如图像是二维数据，文本是序列数据。 对齐问题：不同模态之间可能需要对齐，如图像和文本的时间同步。 多模态模型能够同时处理这些信息，从而理解视频的内容并进行分类、检索或生成描述。 结论 多模态学习是一个快速发展的领域，其潜力非常巨大。
63410编辑于 2024-10-10 - 来自专栏强化学习专栏
多模态智能的发展
文章分类在学习摘录和笔记专栏： 学习摘录和笔记（18）---《多模态智能的发展》 多模态智能的发展 1 多模态智能定义 多模态智能旨在融合多种模态的信息进行处理实现智能应用 将多模态信号统一到同一个向量空间中，从而实现了多模态信号的交叉处理。 多模态表示：由于其复杂的跨模态交互作用和各模态训练数据与测试数据之间可能存在的失配问题，仍然是一个具有挑战性的问题。 2 多模态智能融合的发展 融合是多模态研究中的一个关键问题，它将从不同单模态数据中提取的信息整合到一个紧凑的多模态表示中。 早期融合：即特征级融合，直接将从各类单模态数据中提取的特征组合在一起，以强调模态间的相互作用，从而抑制模态间的相互作用。
32210编辑于 2024-12-03 - 来自专栏机器学习与推荐算法
多视图多示例多标签的协同矩阵分解
实例和标签）之间的关系，而这些实体之间的关系可以给M3L方法提供丰富的上下文信息，因此，现有的M3L方法性能次优； 2、大部分的MIML算法仅关注单视图数据，但是，在实际应用中，通常可以通过不同的视图来表示多实例多标签对象 2 Related work 由于包之间以及实例之间存在多种类型的关系,与最近大量研究的MIML任务相比，从多视图包中学习更加困难和挑战。当前已有不少研究工作致力于解决这样一种挑战。如表1所示： ? 尽管这些方法在努力解决多视图MIML学习问题，但是这些方法仅考虑了包之间和实例之间有限的关系类型。 3 Methodology 所提模型主要包括两部分，一部分是异质网络的构建，另一部分是协同关系矩阵分解。 3.1 Heterogeneous Network Construction ? 2、construct a bag subnetwork for each feature view 利用豪斯多夫距离为每个试图中的包构建子网 ? ?
1.4K30发布于 2021-04-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号