VLA 是具身智能、机器人、大模型、多模态学习和智能体研究中非常重要的一个术语，全称通常是 Vision-Language-Action，可译为“视觉—语言—动作模型”。它用来描述一种把视觉感知、语言理解和动作生成统一到同一模型或同一策略中的智能模型。换句话说，VLA 是在回答：机器人怎样根据看到的环境和听到的指令，直接生成可以执行的动作。
如果说 VLM 主要解决“看图并理解语言”的问题，那么 VLA 进一步加入了“行动”这一环节。它不仅要识别图像中有什么、理解用户说了什么，还要决定机器人下一步应该怎么动，例如移动、抓取、放置、推拉、旋转或操作工具。
因此，VLA 常用于机器人控制、机械臂操作、移动机器人、具身智能、通用机器人策略、家庭服务机器人、工业机器人和自动化操作任务中，是理解“大模型如何走向现实行动”的关键概念之一。RT-2 明确把视觉语言模型与机器人动作数据联合训练，并把机器人动作表达为 token，从而形成 Vision-Language-Action 模型范式；OpenVLA、π0 等后续工作也围绕开放式 VLA、通用机器人控制和高泛化机器人策略展开。
一、基本概念：什么是 VLA
VLA 是 Vision-Language-Action 的缩写。它包含三个核心部分：
• Vision：视觉，表示模型能看到环境
• Language：语言，表示模型能理解人类指令
• Action：动作，表示模型能输出可执行控制信号
图 1：什么是 VLA
一个典型 VLA 任务可以是：
• 用户指令：把桌上的红色杯子拿给我
• 视觉输入：机器人摄像头看到桌子、杯子和周围环境
• 模型输出：移动机械臂、对准杯子、闭合夹爪、拿起杯子、递给用户
从通俗角度看：VLA 就是让模型完成从“看见”到“听懂”再到“动手”的转换。
它不是只回答：红色杯子在桌子上。而是要进一步输出：下一步向左移动 5 厘米，夹爪打开，对准杯子，执行抓取。
可以简单概括为：
VLA = 视觉感知 + 语言理解 + 动作生成
在具身智能中，VLA 的作用类似于把“大脑”和“身体控制”连接起来：它让机器人不仅能理解任务，还能把任务转化为动作。
二、为什么需要 VLA
VLA 之所以重要，是因为现实世界任务通常不是单纯的图像识别或语言问答，而是需要行动。
例如，用户说：
请把左边那个空盒子放到货架上。机器人需要同时解决多个问题：
• 看清楚哪里有盒子
• 判断哪个盒子是“左边那个”
• 理解“放到货架上”的目标
• 规划移动路线
• 控制机械臂抓取盒子
• 判断是否放置成功
传统机器人系统通常把这些步骤拆成多个模块：
视觉识别 → 语言解析 → 任务规划 → 运动控制 → 反馈调整
这种方式结构清晰，但在开放环境中容易遇到问题：
• 物体种类变化多
• 人类指令表达不固定
• 环境状态经常变化
• 规则系统难以覆盖所有情况
• 各模块之间误差会逐步累积
VLA 的目标是把视觉、语言和动作放到更统一的模型框架中，让机器人能够从大量数据中学习“看见什么、听到什么、应该怎么做”的对应关系。
从通俗角度看：传统机器人像按流程图执行任务。VLA 则希望机器人能更像人一样，根据看到的环境和听到的指令灵活行动。
三、VLA 的基本输入与输出
VLA 的输入和输出与普通语言模型不同。
1、输入：视觉 + 语言 + 状态
VLA 通常接收多种输入。
常见输入包括：
• 图像：摄像头画面
• 视频：连续环境观察
• 语言指令：用户给出的任务要求
• 机器人状态：关节角度、夹爪状态、位姿等
• 环境信息：深度、点云、位置、障碍物等
例如：
• 视觉输入：桌面图像
• 语言输入：把绿色积木放进盒子
• 机器人状态：机械臂当前位姿
这些输入共同告诉模型：现在环境是什么样，用户要我做什么，我当前能怎么动。
2、输出：动作
VLA 的输出不是普通文本，而是动作。动作可以有不同形式。
例如：
• 离散动作：向前、向后、抓取、放下
• 连续动作：机械臂末端位置变化、旋转角度、夹爪开合程度
• 动作 token：把动作离散化后当作 token 输出
• 动作轨迹：一段连续控制序列
• 高层计划：先抓取，再移动，再放置
可以简单表示为：
其中：
• a_t 表示第 t 步动作
• π 表示 VLA 策略模型
• o_t 表示当前视觉观察
• l 表示语言指令
• s_t 表示机器人状态
从通俗角度看：VLA 模型看到当前环境和任务指令后，输出“下一步怎么动”。
四、VLA 与 VLM 的区别
VLA 和 VLM 很容易混淆。
1、VLM：视觉—语言模型
VLM 是 Vision-Language Model，通常译为“视觉—语言模型”。它主要处理视觉和语言之间的关系。
例如：
• 看图回答问题
• 图像描述
• 图文匹配
• 图像内容理解
• 多模态问答
典型任务是：
• 输入：图片 + 问题
• 输出：文字回答
例如：
回答：桌上有一个红色杯子。2、VLA：视觉—语言—动作模型
VLA 在 VLM 的基础上增加了 Action。
典型任务是：
• 输入：图片 / 视频 + 指令 + 机器人状态
• 输出：机器人动作
例如：
输出：机械臂移动、抓取、抬起。3、核心区别
可以概括为：
• VLM：看懂并回答
• VLA：看懂、听懂并行动
VLM 更偏向理解。VLA 更偏向具身执行。
从通俗角度看：
• VLM 像一个会看图说话的助手
• VLA 像一个会看环境、听指令并动手完成任务的机器人控制大脑。
五、VLA 的基本工作流程
VLA 的基本流程可以概括为：
视觉观察 → 语言指令 → 多模态融合 → 动作预测 → 执行动作 → 环境反馈
图 2：VLA 的基本工作流程
1、视觉观察
机器人通过摄像头、深度相机或其他传感器观察环境。
例如：
• 桌面上有哪些物体
• 目标物体在哪里
• 物体之间有什么空间关系
• 机械臂当前位置是否接近目标
视觉观察回答的是：现在我看到了什么？
2、语言指令
用户通过自然语言提出任务。
例如：
把最小的积木放到蓝色盒子里。语言指令回答的是：用户希望我做什么？
3、多模态融合
模型需要把视觉信息和语言信息结合起来。
例如：
• “最小的积木”对应图像中的哪个物体
• “蓝色盒子”在哪里
• “放到里面”表示怎样的空间关系
多模态融合回答的是：指令中的词语如何对应到现实环境？
4、动作预测
模型根据当前状态预测动作。
例如：
• 机械臂向目标移动
• 调整夹爪角度
• 抓取物体
• 移动到盒子上方
• 放下物体
动作预测回答的是：下一步应该怎么动？
5、执行与反馈
机器人执行动作之后，环境会发生变化。模型或控制系统需要继续观察结果。
例如：
• 是否抓住目标
• 是否放进盒子
• 是否碰到障碍物
• 是否需要重新尝试
反馈回答的是：动作是否成功？如果失败，下一步如何调整？
这也是 VLA 与具身智能紧密相关的原因。
六、VLA 如何表示动作
VLA 的关键难点之一，是如何把“动作”表示成模型可以学习和输出的形式。
1、连续动作表示
机器人动作通常是连续数值。
例如机械臂动作可能包括：
Δx, Δy, Δz, Δroll, Δpitch, Δyaw, gripper
其中：
• Δx、Δy、Δz 表示位置变化
• Δroll、Δpitch、Δyaw 表示姿态变化
• gripper 表示夹爪开合
这类动作可以直接作为连续向量输出。
2、离散动作表示
也可以把动作离散化。
例如：向左移动、向右移动、上升、下降、抓取、释放。
这样动作更像分类任务。但离散动作可能不够精细，难以控制复杂运动。
3、动作 token 表示
一些 VLA 方法会把动作编码成 token，使动作可以和语言 token 一起建模。
RT-2 就提出将机器人动作表达为文本 token，并把自然语言任务和机器人动作共同放入训练数据中，从而让视觉语言模型直接输出动作相关 token。
从通俗角度看，动作 token 的思想是：把“机器人怎么动”转化成模型可以像生成文字一样生成的符号。
4、动作轨迹表示
有些任务不是只预测下一步动作，而是预测一段动作轨迹。
例如：接近杯子 → 夹爪张开 → 对准杯子 → 闭合夹爪 → 抬起 → 移动 → 放下。
轨迹表示更适合复杂操作，但训练和控制难度也更高。
七、VLA 与具身智能的关系
VLA 是具身智能中的一种重要模型路线。
图 3：VLA、VLM 与具身智能的关系
具身智能强调：
感知 → 理解 → 决策 → 行动 → 反馈
VLA 则试图用统一模型连接其中的关键环节：
视觉感知 + 语言理解 → 动作生成
可以把二者关系理解为：
• 具身智能：总体目标和系统形态
• VLA：实现具身智能的一类模型方法
具身智能还需要许多系统能力，例如：
• 传感器
• 机械结构
• 运动控制
• 安全约束
• 环境反馈
• 任务规划
• 异常处理
• 人机交互
VLA 不是具身智能的全部，但它可以成为具身智能系统中的核心策略模型。
从通俗角度看：
• 具身智能是“让 AI 在环境中行动”
• VLA 是“让 AI 根据视觉和语言生成动作”的关键模型形式
八、VLA 的训练数据与泛化能力
VLA 的能力高度依赖训练数据。
1、机器人轨迹数据
机器人轨迹数据通常包括：
• 视觉观察
• 语言指令
• 机器人状态
• 动作序列
• 任务结果
例如：
动作：机械臂移动、抓取、抬起这种数据直接告诉模型：在这种观察和指令下，应该执行什么动作。
2、多机器人数据
如果只在一种机器人上训练，模型可能难以迁移到其他机器人。
Open X-Embodiment 尝试汇集来自多种机器人、本体和任务的数据，用于研究跨机器人策略和通用机器人模型；其项目页介绍了超过 100 万条真实机器人轨迹，覆盖多种机器人形态。
这类数据有助于模型学习更通用的操作规律。
3、互联网视觉语言知识
VLA 也可以利用大规模视觉语言模型的知识。
例如，模型可能从图文数据中学到：
• 什么是杯子
• 什么是水果
• 什么是“最小的物体”
• 什么是“放到旁边”
• 哪些物体可以作为工具
RT-2 的核心思路之一，就是把互联网规模视觉语言预训练知识迁移到机器人控制中，以提升机器人在新物体、新指令和简单语义推理任务上的泛化能力。
从通俗角度看：VLA 希望机器人不只记住训练过的几个动作，而是能利用大模型学到的常识，更灵活地完成新任务。
九、VLA 的优势、局限与常见误解
1、VLA 的主要优势
VLA 最大的优势是把视觉、语言和动作连接起来。
它让机器人能够更自然地接收人类指令，并根据环境状态生成动作。
其次，VLA 有助于提升泛化能力。
如果模型利用了视觉语言预训练和多任务机器人数据，它可能更容易适应新物体、新场景和新表达方式。
再次，VLA 有助于简化系统设计。
传统系统需要多个模块手工连接，而 VLA 希望用更统一的模型学习从观察到动作的映射。
从通俗角度看：VLA 的优势在于让机器人更接近“听得懂、看得见、动得起来”。
2、VLA 的主要局限
VLA 也有明显局限。
首先，机器人数据远比文本和图像数据难收集。
真实机器人操作需要时间、设备、场地和安全保护。
其次，动作控制对精度和安全要求很高。
语言模型说错一句话可以修改，但机器人动作错误可能导致碰撞、损坏或伤害。
再次，VLA 的泛化能力仍然有限。
机器人在新环境、新物体、新光照、新材质、新任务中可能失败。
此外，VLA 不能完全替代底层控制系统。
即使高层模型能预测动作，仍需要稳定的运动控制、碰撞检测、安全约束和反馈机制。
3、常见误解
误解一：VLA = 多模态聊天模型
不对。多模态聊天模型通常输出文本，VLA 的关键是输出动作。
误解二：VLA 接上机械臂就一定能做家务
不对。真实环境复杂，机器人还需要感知、控制、安全和大量数据支持。
误解三：VLA 只需要语言能力强
不对。VLA 还需要视觉定位、空间理解、动作控制和反馈纠错。
误解四：VLA 可以完全取代传统机器人控制
不对。VLA 更适合高层任务理解和策略生成，底层控制和安全系统仍然非常重要。
十、Python 示例
下面用几个简化示例帮助理解 VLA 的基本思想。
示例 1：VLA 样本结构
这个例子中：
• image 表示视觉观察
• instruction 表示语言指令
• robot_state 表示机器人当前状态
• action 表示模型应该输出的动作
示例 2：简化的 VLA 输入输出
这个例子只是规则化演示。真实 VLA 会通过模型从图像、语言和状态中直接预测动作。
示例 3：动作向量表示
这里的动作可以理解为机械臂末端执行器的变化量。
其中：
• dx、dy、dz 控制位置变化
• d_roll、d_pitch、d_yaw 控制姿态变化
• gripper 控制夹爪开合
示例 4：动作 token 的直观表示
这个例子展示了动作 token 的直观思想。把动作变成 token 后，模型可以像生成文本 token 一样生成动作序列。
示例 5：执行后的反馈判断
这个例子说明：VLA 系统不能只生成一次动作，还需要结合反馈持续调整。
小结
VLA 是 Vision-Language-Action 的缩写，表示把视觉、语言和动作统一起来的模型。它让机器人能够根据看到的环境和听到的指令生成可执行动作，是具身智能的重要模型路线。VLA 的核心不只是“看懂图片”或“理解语言”，而是把理解转化为行动。对初学者而言，可以把 VLA 理解为：让机器人根据视觉和语言输入，决定下一步该怎么动的模型。
“点赞有美意，赞赏是鼓励”
热门跟贴