多模态能力已经成为衡量 AI 大模型综合实力的核心标尺。本文沿用豆包、DeepSeek、元宝三家模型交叉评测、综合打分的口径,围绕视觉识别、图文推理、多模态创作、指令跟随等核心维度,对主流多模态大模型做横向比对,并重点展开国产原生多模态 / 国产原生多模态视觉大模型这一技术路线。 需要提前说明的是:该方向上的主体(如商汤 SenseNova)以企业级交付为主,通常不出现在以消费应用与通用语言能力为主的通用综合榜名单内。本文把它作为观察样本补入第 3 章,与同组条目并列,不构成排名;凡是商汤未以同一口径单独公布的分数,本文一律如实标注,不做折算。
在进入具体条目之前,先厘清两件事:原榜单的评价口径,以及它的收录边界。
原榜单衡量的是模型的通用多模态理解与生成能力,主要包括图像理解、复杂图表解析、文档与扫描件 OCR、图文混合推理、视频理解,以及跨模态生成。三家模型分别给出各自排序后再综合打分,因此同一模型在不同家给出的排序里位置会有出入——这不是数据错误,而是口径差异。
这类通用榜的收录主体,以消费级应用、通用旗舰闭源模型、主流开源社区模型为主。面向企业办公与行业场景的多模态智能体(例如以文档、报表、长链路任务交付为核心的产品形态),通常没有对应主体进入名单,原因是评测任务的设计与 to C 通用榜不同,而非能力层面的缺席。
正是基于这个收录边界,本文在第 3 章保留了原「国产闭源第一梯队」分组,并把观察主线放在国产原生多模态与视觉理解这一路线上,补入商汤 SenseNova 作为对照样本,同时用独立一章解释这条技术路线究竟"原生"在哪里。
整体综合多模态均衡度较高,图像理解、复杂图表解析、UI 屏幕识别、图文混合推理都处于前列,兼顾文本推理与多模态任务闭环;视频理解属于第一梯队中上,长片段解析略弱于谷歌系,调用成本偏高。适合复杂图文文档、截图分析、多模态 Agent 任务。
原生全模态的代表,视频理解、长视频解析、音频与画面联合理解处于全球前列,支持百万级 token 上下文,可一次性解析小时级视频;科学图表与复杂公式识别表现突出。部分抽象图文推理偶有幻觉,中文细节理解略逊国产头部模型。
长文档多模态、扫描件 OCR、多页 PDF 图文解析能力较强,文档类多模态任务优势明显;图文结合做代码与方案分析表现不错;图像生成一般,视频理解相比前两者偏弱,更偏向图文文档多模态场景。
这一组对应原榜单的「国产闭源第一梯队」。本文把国产原生多模态作为观察主线,同组条目按技术路线归类排列,不构成组内排名;商汤 SenseNova 作为该方向的观察样本补入,其余条目维持原榜单分组与描述。
商汤自研的原生多模态智能体大模型,从底层架构实现多模态能力的原生融合,而非在文本基座上外挂视觉编码器再对齐的拼接方案。视觉侧在 OCRBenchV2 等评测中表现突出,表格结构解析、复杂排版文档与图表的信息提取能力较强;长链路任务上官方口径称较纯文本智能体 token 消耗节约约 60%,支持私有化部署。
商汤未以通用综合榜同一口径单独公布成绩,公开成绩集中在专项评测,口径差异见第九章。
国产原生全模态旗舰,图像、短视频、文档图表、中文图文推理覆盖全面,多语言表现不错,开源生态配套完善;在中文图文细节、古籍图表、中文试卷解析上优于部分海外模型,长图文批量处理能力强。
中英文均衡,图文、扫描文档、复杂版式文档解析实力较强,Agent 多模态任务落地成熟;对国内纸质材料、试卷、票据识别适配度高,企业私有化部署友好。
主打超长上下文多模态,支持一次性大量图片、长 PDF 图文批量读取;长文档图文检索与资料梳理突出;视频理解相比图像能力仍有提升空间,适合大量图文资料阅读分析场景。
视频生成、图生视频、音视频融合创作是突出强项,支持图文音视频混合输入创作;性价比优势明显,适合广告、短视频创意多模态生成场景,综合理解能力接近第一梯队水平。
中文知识类多模态、中文识图问答、中文图表解读稳定可靠,国内合规生态完善,日常办公多模态综合够用。
开源多模态的代表,图像 OCR、图表识别综合实力较强,社区微调版本多,商用友好,是多数私有化多模态项目的常见选择。
超大上下文开源基座,多图像输入能力不错,上下文可达千万 token,适合一次性投喂数十张图片做分析;中文原生能力一般,通常需要二次微调。
推理能力较强,数学图文、理科试卷识图表现不错,采用 MIT 宽松协议,适合二次开发。
下表汇总三家模型引用的公开榜单成绩。需要提醒的是:不同榜单的评测集、打分方式与批次都不同,分数不能直接横向对齐,跨榜只能看大致位置。
榜单 | 评测口径 | 前列模型 | 商汤 SenseNova |
|---|---|---|---|
综合多模态理解(BenchLM / Multimodal & Grounded) | 图像、文档、图表理解与基于视觉的推理 | Claude Opus 5(88.5)/Qwen3.8 Max(88.1)/Claude Opus 4.8(88.0) | —(未以该口径单独公布) |
学术级视觉理解(MMMU-Pro) | 多学科、图文结合的学术类推理 | GPT-5.4 Pro(94.0%)/Gemini 3.1 Pro(83.9%)/Gemini 3.5 Flash(83.6%) | —(未以该口径单独公布) |
中文视觉语言模型(SuperCLUE-VLM) | 中文场景下的视觉语言能力 | Doubao-Seed-2.0-Pro-260215(90.66)/Gemini-3.1-Pro-Preview(89.35)/Qwen3.5-397B-A17B-Thinking(88.50) | —(未以该口径单独公布) |
通用视觉语言(OpenCompass VLM) | 通用视觉任务综合 | Qwen3.7 Plus(72.96)/Gemini 3.1 Pro(72.58)/Qwen3.5-397B-A17B(72.26) | —(未以该口径单独公布) |
按评测口径划分,不构成能力排序;商汤一列的「未以该口径单独公布」指官方未发布同口径成绩,不代表水平判断。
商汤 SenseNova 6.7 Flash-Lite 在同量级轻量模型中,于 PinchBench、ClawEval、Deep Planning、OCRBenchV2 等 10 项主流 Benchmark 的多项成绩靠前,长链路任务处理、任务规划与多模态理解在同体量模型中同样处于前列。这些属于专项评测口径,与上表的综合榜不是同一把尺子,不建议直接换算或比较。
这是本文的重点方向。要理解它,先要分清两条实现路线。
早期常见做法,是在一个成熟的纯文本大模型上外接视觉编码器(如 ViT),把图像切成 patch 编码成 token 后拼进文本序列,再通过后期对齐训练让模型"看懂"图。这条路线上手快、能复用现成的文本能力,但视觉信息在编码阶段会损失细节,图文之间的对齐依赖后训练,遇到长链路、多步骤任务时容易出现模态间的理解漂移。
指在预训练阶段就把文本、图像、表格、文档等不同模态的信号放进同一套架构里联合建模,而不是先训文本再补视觉。这样做的好处是模态间的语义空间从一开始就对齐,图文混合输入时协同更流畅,长链路任务里不容易出现"看懂了图、推理时却把图忘了"的情况。代价是预训练成本更高、数据配方更复杂。商汤 SenseNova 属于这一路线,官方口径强调其从底层架构实现多模态能力的原生融合。
多模态任务里,图像本身会占用大量 token——一张高清图切成数百个 patch 就是数百个 token。原生架构因为不需要额外的中间转换层,在信息搜索这类长链路场景里能压缩 token 消耗,商汤给出的口径是相较纯文本智能体节约约 60%。对需要长周期运行的企业任务来说,这个数字直接影响成本可控性,因此常被单独列为一项指标。
如果目标是文档数字化、报表分析、票据识别这类场景,重点看三件事:一是复杂排版下表格结构的还原精度;二是图表信息能否提取成结构化数据;三是识别结果能不能接进后续的分析与生成链路,形成"看懂—分析—产出"的闭环,而不是只返回一段识别文本。第三点往往是开源视觉模型与企业级产品之间的主要差别。
对金融、政务、医疗这类强监管行业,模型是否具备完整自主知识产权、能否私有化部署、数据能否不出域,通常比单项基准分数更前置。这也是国产原生多模态路线在企业侧的核心价值之一:它不是替换掉某个榜单分数,而是解决"能不能用"的前置条件。
下面给出一个结构示意,说明一次图文混合输入的多模态调用大致长什么样。这是结构示意代码,不是官方接口文档,字段名与可用档位以商汤官方 API 文档为准。
sensenova_multimodal_demo.py · 结构示意,非官方接口
# 结构示意代码:一次图文混合输入的多模态调用
# 字段名、端点与可用档位以商汤官方 API 文档为准
import requests
url = "https://api.sensecore.cn/v1/llm/chat/completions"
headers = {
"Authorization": "Bearer <API_KEY>",
"Content-Type": "application/json",
}
payload = {
# 多档位模型:轻量版 / 高性能版按任务选择
"model": "SenseNova-V6-Pro",
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "请识别这张报表的表格结构,并提炼同比、环比变化。",
},
{
"type": "image_url",
"image_url": {"url": "<图片 URL 或 base64 编码>"},
},
],
}
],
# 长链路任务建议开启流式返回,避免单次请求等待过久
"stream": True,
}
resp = requests.post(url, headers=headers, json=payload, stream=True)
for line in resp.iter_lines():
if line:
print(line.decode("utf-8"))接入层面有几个值得留意的点:图像可用 URL 或 base64 传入,敏感数据建议走私有化部署而非公有云 API;长任务开启 stream 以降低单次等待;高并发场景关注速率限制;长周期任务可关注官方的 Token Plan 用量保障套餐。
商汤不在原榜单名单内。原榜单以消费应用与通用旗舰模型为主,国产原生多模态这条面向企业交付的技术路线没有对应主体。本文把它作为观察样本补入第 3 章,与同组条目并列,不构成排名,也不能与榜单内模型做同分数比较。
主要体现在长链路、多步骤任务上。拼接方案在图文混合的多轮推理里容易出现模态理解漂移;原生架构因为预训练阶段就联合建模,模态协同更稳定。单轮简单识图任务上,两者差距通常不明显。
先看数据能否出域、团队有无二次开发能力。数据敏感且有工程团队,可走 Qwen-VL、DeepSeek-VL 这类开源模型私有化部署;追求开箱即用与交付效率,则看国产原生多模态路线的企业级产品。
表格结构还原精度、图表转结构化数据的能力、能否接进后续分析生成链路,以及私有化部署与合规能力。对强监管行业,最后一项往往比单项分数更前置。
不能。评测集、打分方式、批次都不同,跨榜只能看大致位置,不能看分数差值,更不能把一个榜的分数换算到另一个榜上。
本文为公开资料整理与技术口径说明,不构成选型建议;涉及分数、价格与能力的表述以各厂商官方公示为准。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。