尽管具体实现各异,主流 VLA 模型普遍遵循三段式架构:
- 视觉编码器(Vision Encoder):将图像转化为视觉 token。多数模型复用互联网预训练的 ViT,例如 OpenVLA 采用 SigLIP ViT-L/14,RT-2 采用 ViT-G。视觉编码器是从网络预训练中迁移最直接的部分,因为网络图像中学到的物体识别与空间布局特征可直接服务于机器人感知。
- 语言条件骨干(Language-Conditioned Backbone):通常由一个大语言模型承担,负责将视觉 token 与语言指令联合建模,是语义推理发生的位置。OpenVLA 使用 Llama 2 7B,π0 使用约 3B 规模的自研骨干。骨干规模同时决定了推理能力与推理成本。
- 动作头(Action Head):将骨干输出转换为机器人动作,是区分不同 VLA 架构的关键设计。常见方案包括离散 token 化、连续回归、扩散与流匹配动作头,各自的精度、延迟与多模态建模能力存在明显差异。