首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >VLA 模型 >VLA 模型与视觉语言模型 VLM 有什么区别?

VLA 模型与视觉语言模型 VLM 有什么区别?

词条归属:VLA 模型

VLM 与 VLA 的核心差异在于是否具备动作生成能力,二者在功能边界上呈现清晰的递进关系:

  1. 功能范围:VLM(Vision-Language Model)仅实现"感知—理解",接收图像或视频与文本输入,输出文本响应(如问答、描述),典型代表包括 GPT-4V、Qwen-VL;VLA 在此基础上增加动作生成模块,直接输出智能体可执行的动作序列,实现"感知—理解—执行"一体化。
  2. 输出形式:VLM 的输出是文本 token;VLA 的输出是动作 token 或连续动作轨迹,对应机器人关节与末端执行器的运动。
  3. 数据依赖:VLM 主要依赖静态图文配对数据;VLA 除图文数据外,还需大量带动作标注的机器人演示数据(teleoperation 数据),用于学习从理解到操作的映射。
  4. 应用定位:VLM 面向图像理解与多模态问答等认知任务;VLA 面向机器人操控、自动驾驶等需要物理交互的具身任务。

可以将 VLM 理解为 VLA 的认知前端——许多 VLA 正是直接在预训练 VLM 骨干之上扩展动作能力构建而成。

相关文章
大模型应用:轻量化视觉语言模型(VLM):基于多模态视觉大模型实践.87
随着大模型技术从单一文本交互迈向多模态智能时代,视觉语言模型(VLM)已成为连接图像感知与语言理解的关键载体。传统大参数VLM凭借强大的综合能力,在图文问答、视觉推理等领域展现出惊人效果,但其对算力与存储的极高要求,也让多模态 AI 长期局限于云端服务与高端硬件环境,难以走向更广泛的落地场景。
未闻花名
2026-04-25
1.4K1
VLM视觉模型处理过程
以Qwen2.5 VL 3B为例,patch_size=14,输入图像按照14 * 14划分成多个patch块。对于尺寸为(H * W)的图像,视觉token数为:N = (H/14) * (W/14)如果直接做Attention注意力计算,时间复杂度为:O(N^2)。Qwen VL采用window attention,按照window size把原始图片分成多块,比如window size=112,每个窗口内包含(112/14) * (112/14) = 8 * 8个patch块。多个块内做Attention注意力计算。时间复杂度可近似写为:O(N * W^2),W为每个窗口内patch数,N为窗口数量。
aaronwjzhao
2026-02-05
7141
2025年十大主流的视觉语言大模型(VLM)
视觉语言模型(VLM)是同时处理图像和文本的人工智能系统。它们连接了计算机视觉(理解视觉数据的人工智能)与自然语言处理(理解语言的人工智能)。2025年最具影响力的十大视觉语言模型(VLM)的更深入概述,解释它们在不同用例中的差异——涵盖视频、工业工作再到轻量级边缘处理。
OpenCV学堂
2026-04-02
4K0
VLM双模型协同规划复杂视觉任务
某机构的研究人员开发了一种基于生成式人工智能驱动的方法,用于规划长期视觉任务(如机器人导航),其有效性约为某些现有技术的两倍。
用户11764306
2026-05-23
2790
视觉语言模型(VLM)深度解析:如何用它来处理文档?
视觉语言模型是一类强大的机器学习模型,能够同时处理视觉(图像)和文本信息。随着最近 Qwen 3 VL 模型的发布,我想带大家深入探讨一下,如何利用这些强大的 VLM 来处理文档。
CoovallyAIHub
2025-11-03
8930
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券