VLA 模型是如何工作的？

VLA 模型的工作过程可以概括为"图像与指令进、动作出"的端到端映射，中间不再由人工拆分的模块接力传递。

其典型推理流程分为三步：

1. 视觉编码：视觉编码器（通常为预训练的 Vision Transformer）把相机图像转换为一串视觉 token，保留物体类别、空间位置、纹理等感知信息。
2. 多模态融合与推理：语言骨干（大语言模型）将视觉 token 与自然语言指令 token 一并处理，完成语义推理——判断"把红色杯子拿起来"对应画面中的哪个区域、需要怎样的操作序列。
3. 动作生成：动作头把骨干输出的表征解码为具体的机器人动作，如关节速度、末端执行器位姿或夹爪开合指令。

与输出文字 token 的大语言模型类似，VLA 把动作也视为一种"token"来预测。在模型看来，"抓起杯子"与"续写一句话"在形式上是一致的，都是接续上文预测下一个 token，只不过动作 token 对应的是电机指令而非文字。这一设计让 VLA 能够继承大模型在海量互联网数据上学到的常识，从而在未见过的物体和场景中具备一定泛化能力。