VLM 与 VLA 的核心差异在于是否具备动作生成能力,二者在功能边界上呈现清晰的递进关系:
- 功能范围:VLM(Vision-Language Model)仅实现"感知—理解",接收图像或视频与文本输入,输出文本响应(如问答、描述),典型代表包括 GPT-4V、Qwen-VL;VLA 在此基础上增加动作生成模块,直接输出智能体可执行的动作序列,实现"感知—理解—执行"一体化。
- 输出形式:VLM 的输出是文本 token;VLA 的输出是动作 token 或连续动作轨迹,对应机器人关节与末端执行器的运动。
- 数据依赖:VLM 主要依赖静态图文配对数据;VLA 除图文数据外,还需大量带动作标注的机器人演示数据(teleoperation 数据),用于学习从理解到操作的映射。
- 应用定位:VLM 面向图像理解与多模态问答等认知任务;VLA 面向机器人操控、自动驾驶等需要物理交互的具身任务。
可以将 VLM 理解为 VLA 的认知前端——许多 VLA 正是直接在预训练 VLM 骨干之上扩展动作能力构建而成。