清华与南洋理工提出VLA-RL：用强化学习增强机器人大模型|rl|动作|南洋理工|大模型|实验|机器人|清华

来源：市场资讯

（来源：CAAI认知系统与信息处理专委会）

现在的大模型在语言和视觉上已经非常强大，但在机器人控制领域，如何让机器人像人一样“随机应变”，而不是死板地模仿，一直是个难题。最近，来自清华大学（深圳）和南洋理工大学的研究者们联手，给我们带来了一个非常有意思的方案：VLA-RL。

简单来说，他们不再仅仅依赖于让机器人“看视频、学动作”这种模仿学习（Imitation Learning）的老路子，而是引入了强化学习（Reinforcement Learning, RL），让机器人在与环境的真实互动中“自我探索、自我提升”。这项工作名为《VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning》。

论文标题（半年引用30+）: VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning
作者: Guanxing Lu, Wenkai Guo, Chubin Zhang, Yuheng Zhou, Haonan Jiang, Zifeng Gao, Yansong Tang, Ziwei Wang
机构: 清华大学（深圳），南洋理工大学
论文地址: https://arxiv.org/abs/2505.18719v1
代码仓库（星标330+）: https://github.com/GuanxingLu/vlarl

超越模仿：VLA的瓶颈与RL的破局之道

近期的视觉-语言-动作（Vision-Language-Action, VLA）大模型，通过模仿大量人类操作数据，在机器人操控任务上取得了惊人的进步。它们可以理解复杂的语言指令，并将其转化为机器人的动作。但这种方法的局限性也很明显：它们只能很好地重复数据集中见过的、或非常相似的场景。一旦遇到新的情况（即“分布外”场景），模型的表现就会大打折扣，就像一个只会按剧本演戏的演员，无法即兴发挥。

研究者们认为，要打破这个瓶颈，关键在于从“利用”现有数据转向“探索”未知可能，而这正是强化学习的拿手好戏。通过在线收集数据并根据奖励信号进行优化，RL能让智能体发现比示教数据更优的策略。上图清晰地展示了VLA-RL与传统模仿学习方法的区别，以及它在训练过程中带来的显著性能提升。

VLA-RL：一个为VLA量身打造的强化学习框架

为了将强化学习有效地应用于高容量的VLA模型，作者们提出了一个名为 VLA-RL 的算法和系统框架。这个框架的设计非常有巧思，它将机器人的操作任务重新定义为一个“多模态、多轮次的对话”过程。

整个VLA-RL的系统流程如上图所示，主要包含几个核心部分：

基于Transformer的策略（Policy）: 这就是我们的主角——VLA模型（比如OpenVLA-7B），它负责根据当前的视觉观察和语言指令，生成下一步的动作。
同构的价值模型（Value Model）: 在RL中，价值模型用于评估当前状态的好坏，指导策略模型做出更优的决策。
机器人过程奖励模型（Robotic Process Reward Model, RPRM）: 这是整个框架的亮点之一。在机器人任务中，奖励通常是稀疏的（比如只有任务完成时才有奖励），这让学习变得非常困难。为了解决这个问题，作者们微调了一个预训练的视觉语言模型来充当奖励模型。它能通过“预测下一个合理的动作词元”来为机器人的每一步操作提供密集的奖励信号，极大地加速了学习过程。
向量化的并行环境: 为了提升训练效率，系统可以同时在多个模拟环境中进行探索和数据收集。

稳定训练的“独门秘籍”

将RL应用于VLA这样的大模型极具挑战性，训练过程很容易崩溃。为此，作者们总结并采用了多种稳定和提效技术：