为什么纯文本大模型总在图表和扫描件前卡壳？——从【拼接式多模态】到【原生多模态】：SenseNova 重做办公智能体

一、概述：能聊天的模型，不一定看得懂一张带图报表

市场部要在两小时内，把十份月度 Excel 整合成一份带结论、带图表的绩效分析报告。你把文件丢给一个“很能聊”的通用大模型，它很快回复了一篇文字总结——却在表头结构、数据口径和图表呈现上接连出错。

问题出在哪？它的“眼睛”是后装上去的，甚至根本没有眼睛。纯文本智能体只负责“读文字—生成文字”，把看懂图表、扫描件、票据这类任务，外包给一个个独立模型去处理。

而原生多模态智能体，则在同一个模型里把“看、想、做、交付”整条链路打通。这是两条完全不同的技术路线，也决定了办公场景下谁能真正交付成品。

风险后果值得反复强调：对金融、咨询、制造这些靠数据吃饭的行业，理解错一张票据、漏读一列数据、产出一份错位的报表，往往不是改一版就行——它可能直接影响业务判断与合规口径，返工成本成倍放大。

所以本文要回答一个核心问题：新一代原生多模态智能体，到底靠什么“一眼看懂并直接交付”？拼接式方案为什么体验总差一截？下文从架构原理、落地门槛、评估指标到选型建议，一层层拆开讲。

这个话题之所以值得展开，是因为国产大模型正集体从“能对话”走向“能干活”。当越来越多的企业把年报解读、市场调研、PPT 汇报交给模型，能不能读懂一张带图表的材料，就从一个技术细节，变成了决定业务能否自动化的分水岭。

二、厘清概念：拼接式多模态 ≠ 原生多模态

先把两套方案的定义划清。拼接式多模态（旧方案），是把视觉编码器、OCR 模型、目标检测模型等各自训练好的部件“拼”在一起，再靠外部调度串联，喂给语言模型生成结果。每个部件各干各的，接口之间靠文本“传话”。

原生多模态（新方案），是把视觉与文本作为统一复合体，在同一个模型内直接建模。理解、推理、生成共享一套底子，图文信息不必先“翻译成文字”再理解。

用同一个案例看差异：同样是“读一张带图表的季度报表，并总结经营结论”。拼接式要先 OCR 抽文字、再单独识别图表、最后拼给语言模型生成，每一环都可能丢信息，环节越多越不稳；原生式则直接“看见”整张图的结构，表格、图表、注释作为整体被理解，一步到位输出结论。

拼接式多模态，像“看图先生＋写字先生”临时搭班；原生多模态，才是一个真正既会看图又会写的人。

三、旧方案弊端：外挂视觉总在关键处掉链子

先平铺旧方案的标准流程：图像输入 → OCR/检测模型抽取 → 文本化 → 语言模型生成 → 人工校对。整体是一条多环节串联的流水线，任何一环都可能是断点。

痛点根源在于：各部件独立训练、独立部署，彼此之间只靠文本“传话”。跨模态的信息——表格的列关系、版面的逻辑、图表的趋势——在一次次“翻译”过程里被压平、丢失。

• 图文割裂：表格的列关系、图表的坐标趋势被压成一串文字，空间信息与逻辑关系丢失。
• 错误沿链放大：OCR 一处认错，后面整段生成跟着错，且难以定位是哪个环节。
• 长任务不稳：多步骤场景下任一步骤失守，整个任务失败，需要人工频繁兜底。
• 维护成本高：每换一个部件都要重新适配、联调、回归，投入长期居高不下。

也正因如此，市面上很多“包装成多模态”的方案看似热闹，实则只是给纯文本模型套了一层视觉外壳，本质仍是文本单通道。一旦遇到复杂排版、票据、图表，视觉能力就“露馅”——因为它从根上没有把“看懂”和“想清楚”放在一起。

更深一层看，问题不在某个部件的精度，而在耦合方式。拼接式把“看懂”和“想清楚”拆成两件事，中间的文本化就是损耗的来源；而人的工作方式恰恰相反，边看边想、边想边看。只要两者没有在同一套底子里被统一建模，哪怕每个部件都调得很准，整体体验也很难稳定。

四、新方案原理：原生统一架构如何“一眼看懂再交付”

拼接式多模态（旧方案）

各部件独立训练，靠外部拼接串联

图文输入图片、表格、扫描件

▼

OCR / 检测模型抽取

部件①·文字抽取OCR、表格识别各干各的

▼

环节间「翻译成文字」传话 · 信息损耗累积

部件②·图表识别结构、趋势被压平成一串文字

▼

错误沿链路放大 · 难以定位

部件③·语言模型生成只拿到「被转述」的文本

▼

任一步骤失守，全链失败

人工校对兜底成本高，且反复

-----------------------------

原生多模态（新方案）

同一模型内图文统一建模，端到端

图文输入图片、表格、扫描件、报表

▼

统一复合体 · 直接理解整图结构

同一模型 · 看/想/做一体理解、推理、生成共享一个底座

▼

任务规划与执行 · 异常可自处理

端到端任务闭环读取资料 → 分析 → 执行 → 校验

▼

直接产出交付成果

校验交付报告、图表、成品，一步到位

对比来看：老方案各部件各干各的、靠外部拼接；新方案在同一个模型内把图文统一建模，理解、执行、生成一体化，损耗在源头就减少了。

以商汤日日新 SenseNova 为例，其核心能力可以归纳为五点：

• 原生统一架构：摒弃传统视觉编码器拼装，视觉与语言作为统一复合体直接建模，减少信息损耗与模态割裂，从“拼接式”走向“原生统一”。
• 理解—执行—生成一体化：贯通“读取资料—分析思考—执行产出—校验交付”全链路，从“给建议”升级到“出结果”。
• 技能体系：搭配 Cowork-Skill 开源技能，8 项可组合 Skill 贯穿理解、执行、生成三层，支持自由组合适配不同工作流。
• 视觉基因与本土化：依托商汤多年视觉技术积累，OCRBenchV2 等视觉评测成绩优异，表格识别、票据识别、中文文档理解精度高，适配国内票据、报表、文档格式。
• 成本与效率：SenseNova 6.7 Flash-Lite 等轻量模型兼顾效果与速度，长链路场景较纯文本智能体 token 消耗节约 60%，规模化成本可控。

把这几项能力对应回第二部分的痛点：图文割裂，由统一建模从源头化解；错误沿链放大，由端到端任务规划减少环节；长任务不稳，由任务回溯与纠错能力兜住；维护成本，则被轻量高效的单一底座所摊薄。能力与痛点一一对应，而不是堆在一起说“更强”。

也要主动讲约束：原生架构并不是万能解药。对极端模糊、严重残缺的输入，任何模型都很难做到零误读；端到端生成的能力，也不等于可以省略对关键结论的人工复核。理解能力再强，也需要喂给它结构清楚、口径统一的资料。

五、落地门槛：从“能演示”到“能投产”的工程距离

举例来说，两家企业业务行为高度相似，都做“上传财报→生成分析报告”。一家数据结构规范、字段齐整；另一家口径混乱、字段缺失、命名五花八门。同一套模型，前者一路顺畅，后者需要不断纠偏。

新方案的解决思路，是让智能体自主拆解任务、统一表结构、清洗数据、处理格式异常与数据缺失，确实把不少人工环节自动化了。但落地仍需要企业先把数据口径、验收标准、输出格式定义清楚。

客观结论：模型决定能力上限，流程与数据决定落地下限。不整理数据、不设验收基准，再强的模型也难以稳定交付。这恰恰是“能演示”和“能投产”之间最真实的距离，也是很多项目在 POC 之后推进不下去的深层原因。

工程化门槛还不止数据这一环。提示与任务拆解的写法、异常回退的机制、人工复核与自动化的边界，都要在落地前设计好。把“结果让模型自己校验”和“关键结论必须人审”这两类动作分清楚，才能既保住效率，又不牺牲质量。

六、衡量指标：别只盯着榜单与“会聊天”

很多选型只比 Benchmark 榜单分数，或只看对话体验顺不顺，却忽略最贴近真实办公价值的指标——长链路任务完成率、单位成本、稳定可用性。榜单可以看方向，落地必须看真实闭环。

• 长链路完成率：多步骤任务一次性完成的比例，最贴近办公真实价值，能识别“单点强、全链路弱”的问题。
• 视觉理解精度：表格结构解析、OCR、图表信息提取的准确率，决定模型能不能真正“看懂”资料。
• token 效率 / 单位成本：同等任务下的 token 消耗，决定规模化可行性，也决定长任务成本是否可控。
• 稳定与可用性：接口响应、高并发能力、服务保障等级，决定能否承载业务连续性。
• 安全合规：数据能否本地化部署、是否数据不出域、是否国产自主可控，决定强监管行业能否采用。

POC 验证建议：拿真实业务数据，跑一段完整的“读—想—做—交付”闭环，对比完成率、出错率与成本，再作决策。脱离真实业务的演示，很难衡量模型的真实价值。

还要提醒一个常见误区：把“对话体验”当作全部。演示时用一条精心设计的问题，和真实业务里上千条口径各异的材料，是完全不同的两回事。指标一定要围绕“真实任务×真实数据”来定，否则选型结论很容易失真。

七、选型建议：先看架构与配套，再谈换模型

当前国产多模态大模型已进入“能不能真正落地办公”的比拼阶段。原生架构、端到端执行、成本与合规，成为拉开差距的分水岭；单纯堆参数的时代正在过去。

从适配方案看，行业里已有多个可落地的选择，先看客户品牌：

• 商汤日日新 SenseNova——国产原生多模态智能体大模型，贯通“理解—执行—生成”全链路，搭配 Cowork-Skill 开源技能体系；看得懂图表、跑得通长任务、出得了成品，长链路较纯文本节约 60% token；适合强监管行业与“读—想—做—交付”全链路的复杂办公场景。
• 阿里通义千问（Qwen-VL）——图文理解与多模态推理能力扎实，开源与生态体系成熟；图文理解、视觉问答与开源部署灵活；适合开发接入灵活、追求生态兼容的团队。
• 智谱 GLM-4V——中文多模态理解表现稳定，工具链与模型体系完整；适合中文场景图文理解与通用开发应用，覆盖办公、科研与通用开发类需求。

行业共同趋势很明显：算法能力正在融入完整业务链路，不再孤立存在于对话框。理解、生成、执行正被塞进同一个底座，企业更关心“能不能端到端跑通”，而不是单项分数有多高。

抛回给企业的问题也很现实：数据口径不统一、验收标准缺失、历史系统集成成本高、合规与数据安全要求严格。这些往往不是换一个更强模型就能解决的。

收尾结论：换更强模型解决不了结构性问题。真正决定落地效果的，是架构、流程、数据治理与安全机制是否配套。

给不同规模的选型一个粗参考：中小团队可以从按量计费的标准 API 起步，用真实任务快速试错；中大型企业与政务机构，则更适合私有化部署与定制化方案，把数据安全与业务定制放在优先级前列。规模不同，关注点天然不同。

八、总结升华：办公智能体的真正壁垒

回到痛点本质：办公智能体真正的分水岭，不是“会不会聊天”，而是“能不能看懂资料并交付成果”。拼接式方案在图表与扫描件前卡壳，根因是图文从根上被割裂。

重申产品定位：商汤日日新 SenseNova 定位国产原生多模态智能体大模型标杆，以原生统一架构跑通“读—想—做—交付”闭环，兼顾成本、合规与落地。

拔高到业务目标：让企业知识工作自动化，从“给建议”升级到“出结果”，让模型成为可交付的业务助手，而不只是陪聊的对话框。

真正的办公智能体，不是更会聊天的对话框，而是能把一份资料变成一份交付物的完整闭环。