Hi Robot: 具有分层视觉-语言-动作模型的开放式指令跟随
Hi Robot: Open-Ended Instruction Following with HierarchicalVision-Language-Action Models
https://www.pi.website/download/hirobot.pdf
摘要
能够在开放世界环境中执行一系列不同任务的通用机器人，不仅必须能够推理完成其目标所需的步骤，还必须在任务执行期间处理复杂的指令、提示，甚至是反馈。复杂的指令（例如，“你能给我做一个素食三明治吗？”或“我不喜欢那个”）不仅要求具备物理执行各个步骤的能力，还要求具备将复杂命令和反馈置于物理世界情境中的能力。在这项工作中，我们描述了一个使用分层结构的视觉-语言模型的系统，该系统首先对复杂的提示和用户反馈进行推理，以推断出完成任务的最合适的下一步，然后通过低级动作执行该步骤。与能够执行简单命令（“拿起杯子”）的直接指令跟随方法相比，我们的系统能够推理复杂的提示，并在任务执行期间整合情境化的反馈（“那不是垃圾”）。我们在三个机器人平台上评估了我们的系统，包括单臂、双臂和双臂移动机器人，展示了其处理诸如清理杂乱桌面、制作三明治和购物等任务的能力。
1. 引言
智能的一个决定性特征是其灵活性：人们不仅擅长复杂任务，还能适应新情况、实时修改行为，并对多样化的输入、修正和反馈做出反应。实现这种灵活性对于处于开放式、以人为中心的环境中的机器人至关重要。例如，考虑一个被指派在餐后整理桌面的机器人：它不是僵化地遵循单个预定义的步骤集，而是需要解读动态的提示，如“只有在某人吃完后才拿走他们的盘子”，回应诸如“别动它”之类的修正，并在面对不熟悉的挑战时（例如需要特殊处理的易碎物品）进行调整。本文旨在通过使机器人能够解读并作用于多样化的自然语言命令、反馈和修正来推进机器人智能——这是朝着创建能够推理任务、无缝整合人类反馈并具有类人适应性的智能体迈出的一步。如果我们能使机器人处理并参与复杂的自然语言交互，我们不仅能解锁更好的指令跟随能力，还能使用户能够引导机器人完成新任务并实时纠正机器人。
在机器人系统中实现这种级别的灵活性和可引导性具有挑战性。虽然标准的语言条件化模仿学习能够遵循简单的、原子性的指令，如“拿起可乐罐”（Brohan 等，2022），但现实世界的任务很少如此直截了当。想象一个更现实的提示，例如：“你能给我做一个素食三明治吗？我不想要加西红柿。另外，如果你有火腿或烤牛肉，你能为我的朋友单独做一个含有其中一种的三明治吗？”这不仅需要理解语言，还需要有能力将命令置于当前情境中，并组合现有技能（例如，拿起烤牛肉）来解决新任务。如果机器人进一步收到修正和反馈（“不是那样做的，你得低一点，否则你会一直够不到”），这些也必须被动态地整合到任务执行中。这一挑战类似于卡尼曼的“系统1”和“系统2”认知过程之间的区别（Kahneman, 2011）。“自动的”系统1对应于一个能够通过触发预学技能来执行直接命令的策略，而更具深思熟虑性的系统2则涉及更高级的推理，以解析复杂的长时间跨度任务、解读反馈并决定适当的行动方案。先前在机器人指令跟随方面的工作主要集中在原子性指令上（Stepputtis 等，2020；Jang 等，2022；Brohan 等，2022），仅处理了系统1层级的行为。
在本文中，我们通过引入一个基于视觉-语言模型（VLM）的用于机器人控制的分层推理系统，来解决复杂提示和反馈所需的更精细推理问题。在我们的系统中，机器人使用一个VLM来整合复杂提示和语言反馈，该VLM的任务是解读当前观察和用户话语，并生成合适的言语回应和原子命令（例如，“抓住杯子”）以传递给低级策略执行。这个低级策略本身是一个针对生成机器人动作进行了微调的视觉-语言模型，也称为视觉-语言-动作（VLA）模型（Black 等，2024；Brohan 等，2023a；Kim 等，2024；Wen 等，2024）。我们预期，用原子命令标注的机器人演示数据不足以训练高级模型来遵循复杂的、开放式的提示，因此我们需要具有代表性的复杂提示跟随示例。为了获取这些数据，我们提出用假设的提示和人类插话（这些提示和插话对于该情境可能是合理的）来合成性地标注由机器人观测和动作组成的数据集。为此，我们向一个最先进的视觉-语言模型提供一个机器人观测和目标原子命令，并要求它想出一个可能导致该观测和命令的提示或人类交互，即针对不同结果为高级策略生成提示。通过将这些合成生成的但具有情境性的示例纳入高级策略训练中，我们的方法能够泛化到多样的提示和插话，同时保持对机器人能力的根基性。
我们论文的主要贡献是我们的分层交互式机器人学习系统（Hi Robot），这是一个使用VLM进行高级推理和低级任务执行的新型框架。我们展示了我们的框架使机器人能够处理比先前的端到端指令跟随系统复杂得多的提示，并在任务执行期间整合反馈（图1）。虽然该系统的某些单独组件（例如低级VLA策略）已在先前工作中被研究过，但这些组件的组合以及我们的合成数据生成方案是新颖的，并实现了新的能力。我们在多种机器人上评估了Hi Robot，包括单臂、双臂和移动平台。我们的评估要求机器人在涵盖清理杂乱桌面、制作三明治和购物等场景的背景下执行各种任务，包括训练期间所见技能的新组合。我们的实验表明，Hi Robot在符合人类意图和任务成功率两方面都超越了多种先前方法，包括使用基于API的VLM和扁平化VLA策略。通过将高级推理根植于言语和物理交互中，Hi Robot为更直观和可引导的人机共生铺平了道路，推动了现实世界应用中灵活智能的潜力。
2. 相关工作
我们的工作与关于用于机器人控制的视觉-语言模型（VLM）的研究相关，我们可以将其分为两类：直接训练VLM用于机器人控制，以及使用现成的VLM配合预定义的机器人技能。
在前一类中，方法基于输入图像和语言命令，对VLM进行微调以输出机器人控制信号（Brohan等，2023a；Wen等，2024；Kim等，2024；Black等，2024；Liu等，2024c；Li等，2024；O'Neill等，2024；Zawalski等，2024；Zheng等，2025；Pertsch等，2025）。虽然这类方法已展现出令人印象深刻的泛化能力和指令跟随能力，但它们是为相对简单的命令（“把杯子放在盘子上”）训练的。相比之下，我们展示了涉及复杂提示和需要情境推理的人类交互的任务。
在后一类中，许多方法使用LLM和VLM来推理机器人观测和命令，并将多阶段任务分解为可由低级控制器执行的更简单的步骤。这类方法的早期版本将语言模型与各种学习到的或手工设计的技能结合使用（Huang等，2022；Brohan等，2023b；Liang等，2023；Shah等，2024；Singh等，2023；Wang等，2024），但这类系统将复杂上下文（如图像观测）纳入推理过程的能力有限。最近，多项工作使用VLM来为预定义的机器人技能输出参数（Huang等，2023；Liu等，2024a；Nasiriany等，2024；Chen等，2024；Liu等，2024b；Stone等，2023；Qiu等，2024；Zhi等，2024）。这类方法可以处理更复杂的命令并将其置于视觉观测的上下文中，但这些方法在物理灵活性方面表现有限，且整合与人类的实时语言交互能力也有限（下面会讨论一些例外情况）。相比之下，我们的系统在高级推理和低级控制两方面都使用VLM，并在两者之间设置了一个灵活的语言接口。这些设计选择，加上一种新的合成数据生成方案，使得我们的系统能够实现先前工作所缺乏的显著的物理灵活性和细致的可提示性。
许多工作旨在实现机器人与用户的语言交互，包括基于模型的系统，这些系统解析语言指令和反馈，并通过场景的符号化表示将其落地（ground）（Swadzba等，2009；Matuszek等，2013；Namasivayam等，2023；Patki等，2019），以及更近期的基于学习的方法，这些方法通常采用分层架构直接处理反馈（Liu等，2023；Xiao等，2024；Shi等，2024；Belkhale等，2024；Singh等，2024；McCallum等；Driess等，2023；Dai等，2024）。我们的工作建立在后一类方法的基础上，其中用户反馈通过一个高级策略被整合，该高级策略向学习到的低级策略提供原子命令。与使用LLM修改机器人轨迹的OLAF（Liu等，2023）不同，我们的方法可以基于机器人的观测整合情境化的修正，实时响应这些修正，并遵循描述灵巧操作任务的复杂提示。虽然YAY Robot（Shi等，2024）可以处理情境化的实时修正，但它仅限于单一提示和人工编写数据中所见的修正；我们的方法利用VLM和一种新的数据生成方案来实现多样化的提示和开放式的修正。最后，RACER（Dai等，2024）也可以整合情境化修正，但依赖物理模拟器来构建恢复行为；我们的方法仅使用真实的机器人演示数据，不包含人为扰动或修正，并且适用于开放式的提示。
3. 预备知识与问题陈述
4. Hi Robot
4.1. 使用VLA的分层推理
4.2. 整合用户交互
4.3. 数据收集与训练Hi Robot
4.4. 模型架构与实现
5. 实验
在我们的实验评估中，我们研究了一系列将具有挑战性的物理交互与复杂用户交互相结合的问题，包括多阶段指令、任务进行中的实时用户反馈，以及描述新任务变体的提示。我们将我们的完整方法与先前方法以及使用其他高级策略训练方法的替代设计进行了比较。我们实验的目的是：
评估我们的方法跟随各种复杂文本提示和实时用户反馈的能力。
将我们的完整方法与先前训练扁平化指令跟随VLA策略或使用现成基础模型进行高级推理的方法进行比较。
评估合成数据和分层结构对任务性能和语言跟随的重要性。
我们在实验中使用了三个复杂的问题域，如图4所示。
餐桌清理涉及清理一张桌子，将盘子和餐具放入收纳箱中，将垃圾物品放入垃圾桶。训练数据包括完整的餐桌清理片段。这项任务在物理上具有挑战性，因为一些物品需要精细的抓取策略（例如，从边缘抓取一个盘子），机器人必须拾取并分离不同的物体，在某些情况下甚至可能利用其他物体来操作某些物体（例如，拾取一个上面有垃圾的盘子并倾斜盘子将垃圾倒入垃圾桶）。在我们的评估中，机器人会收到实质性改变任务目标的提示，例如“你能只清理垃圾，但不清理盘子吗？”、“你能只清理盘子，但不清理垃圾吗？”以及“收拾所有发黄的东西”。这要求高级模型推理任务和每个物体（例如，识别可重复使用的塑料杯是餐具，而纸杯是垃圾），然后修改机器人“默认”的总是收走所有物品的行为。这包括理解该做什么以及不该做什么（例如，在被要求只收集垃圾时避免触碰餐具）。机器人还可能在任务期间收到情境化反馈，例如“这不是垃圾”、“留下其余东西”或“别动它”，这要求它理解插话并做出相应回应。
三明治制作要求机器人使用多达六种食材以及面包来制作一个三明治。这项任务在物理上很困难，因为机器人必须操作易变形和易碎的食材，这些食材需要小心抓取并精确放置。数据包含不同类型三明治的示例，并带有片段标签（例如，“拿起一片面包”）。我们使用这项任务来评估复杂的提示，例如“嗨机器人，你能给我做一个带有奶酪、烤牛肉和生菜的三明治吗？”或“你能给我做一个素食三明治吗？我对泡菜过敏”，以及实时修正，如“够了，不要再加了”。
杂货购物需要从杂货架上拾取所需物品的组合，将它们放入篮子中，并将篮子放在附近的桌子上。这项任务需要控制一个双臂移动操作器（见图4），并解读涉及可变数量物体的细微语义。提示的示例包括“嘿机器人，你能给我拿些薯片吗？我正在为电影之夜做准备”、“你能给我拿些甜的东西吗？”、“你能给我拿点喝的吗？”、“嘿机器人，你能给我拿一些Twix和Skittles吗？”，以及诸如“我还想要一些Kitkat”之类的插话。
比较与消融实验。我们的比较评估了我们的完整方法以及若干替代方法，这些方法要么采用不同类型的高级策略，要么不利用分层结构。这些包括：
专家人工高级策略：这个神谕基线使用一名专家人类替代高级模型，该专家手动输入他们认为最有可能在任务中成功的低级行为语言命令。这使我们能够了解在理想高级命令下，低级策略的性能受限程度。
GPT-4o高级模型：该方法使用与Hi Robot相同的高级/低级分解，但在高级层面查询基于GPT-4o API的模型，同时使用相同的低级策略。GPT-4o是一个比我们使用的显著更大的VLM，但它没有使用我们的真实和合成数据集进行微调。这种比较类似于SayCan（Brohan等，2023b）的高级版本，后者使用现成的LLM作为高级策略，而此基线使用VLM。为了使GPT-4o与机器人的可供性对齐，我们精心设计了提示，使其包含低级策略可以遵循的任务相关指令，这些指令通过排序人工标注数据集中最常见的技能标签来确定，并要求GPT-4o在其中进行选择。
不带合成数据的Hi Robot：这种消融实验对应我们的方法但不使用合成训练数据，评估在训练中包含多样化合成生成提示的重要性。这种消融实验可以看作是YAY Robot（Shi等，2024）的基于VLM的高级版本，YAY Robot是一个使用高级模型为低级模型预测语言命令的先前系统。
5.2. 指标与评估协议
我们报告两个互补的指标，由对正在运行的方法不知情的人类评估员进行测量。每种方法每项任务的每次评估包含20次试验。
指令准确率（IA）：该分数衡量高级策略预测的指令与人类意图的吻合程度，需要对当前环境和提示进行多模态理解。如果高级模型的预测与用户的命令和当前观测都一致，评估员将其标记为正确预测；否则，标记为不正确。然后，一次试验的指令准确率计算为正确预测数占总预测数的比例。对于缺乏可解释语言预测的扁平化基线，评分基于评估员对策略行为意图的解读。
任务进度（TP）：由于我们评估的所有任务都是复杂和长时程的，我们记录任务进度以提供任务完成的细粒度视图。任务进度量化了机器人与预期目标的接近程度，通过成功放置在正确位置或配置中的物体比例来计算。
5.3. 核心结果
我们展示了我们的系统以及两个关键基线的结果：一个GPT-4o策略和一个扁平化VLA方法。定量和定性结果见[图5]和[图6]，我们将我们的发现总结如下。
(1) Hi Robot在开放式指令跟随方面表现出色。
在所有任务中，与GPT-4o和扁平化基线相比，Hi Robot表现出显著更高的指令准确率和任务进度。它能够正确识别、拾取和放置正确的物品——即使在被提示只处理某些物体或省略某些食材时也是如此（例如，“我对泡菜过敏”）。相比之下，一旦物理交互开始，GPT-4o频繁丢失上下文，发出无意义的命令（例如，“拿起百慕大三角”），或者有时将所有物品标记为“盘子”或“勺子”，这干扰了长时程规划。
(2) Hi Robot展现出强大的情境推理和对反馈的适应能力。
当用户在任务进行中修改请求时（例如，“留下其余东西”、“我还想要一个KitKat”），Hi Robot相应地更新低级命令。然而，GPT-4o往往无法维持一致的内部状态，导致诸如在夹爪仍被占用时拾取新物体或过早切换任务等命令。另一方面，扁平化基线则不对实时反馈做出反应。
(3) Hi Robot在各种任务、机器人和用户约束下均有效。
在单臂、双臂和移动双臂平台上，Hi Robot能够处理不同的物体（从易碎的奶酪片到高瓶子），同时尊重动态约束（例如，“只收拾发黄的东西”、“不要加西红柿”）。相比之下，当提示在片段中途发生变化时，扁平化基线和GPT-4o往往恢复到默认行为（例如，拾取视野中的每一个物体，或在三明治中几乎包含所有食材）。
(4) 专家人工指导揭示了低级策略的优势，但强调了高级推理的必要性。
在人工高级指令下，低级策略执行几乎完美，表明失败更多源于推理而非执行。然而，仅依赖人类输入是不可扩展的。Hi Robot通过一个与用户提示和实时观测对齐的高级VLM弥合了这一差距，而GPT-4o缺乏物理落地以及扁平化基线缺乏高级推理则阻碍了性能。
5.4. 消融实验
我们进行了两项关键消融实验，以分离（1）用于高级推理的合成数据，以及（2）分层分解与单一“扁平化”策略各自的贡献。
(A) 合成数据对于开放式指令跟随至关重要。
将Hi Robot（在人工标注+合成数据上训练）与仅在人工标注数据上训练的变体进行比较，结果表明合成交互显著提升了语言灵活性（图7）。没有合成数据时，消融后的模型会忽略澄清说明（例如，“这不是垃圾”）或包含被禁止的物品（例如，泡菜），而Hi Robot由于合成数据中组合语言的更广泛覆盖，能够平滑地适应此类反馈。
(B) 分层结构优于扁平化策略。
接下来，我们将Hi Robot与在相同合成数据上训练但没有单独推理步骤的扁平化策略进行比较（图8）。扁平化模型经常恢复到清理所有物品的状态，或无法处理部分指令（“只收拾发黄的东西”），而Hi Robot在每个高级步骤重新检查提示，并对任务中途的更新做出连贯响应。这表明将高级推理与低级控制分离对于多步骤的连贯性和适应动态用户输入是有益的。
6. 讨论与未来工作
我们提出了Hi Robot，一个在分层结构中使用视觉-语言模型（VLM）的系统，它首先对复杂提示、用户反馈和语言交互进行推理，以推断出完成任务的最合适的下一步，然后通过直接输出低级动作命令来执行该步骤。我们的系统可以被看作是“系统1”和“系统2”架构（Kahneman，2011）的基于VLM的实例化。深思熟虑的“系统2”层采取高级VLM策略的形式，该策略利用来自网络规模预训练的语义和视觉知识来推理复杂提示和用户交互。物理的、反应式的“系统1”层也采取VLM的形式，该VLM被训练为响应于描述原子行为的更简单命令而直接输出机器人动作。
这两个VLM具有几乎相同的架构，唯一的区别在于低级策略使用流匹配来输出动作。实际上，在模型层面上角色的分离并非该设计的基本要素：未来工作一个自然的步骤是将两个系统合并为一个模型，并仅在推理时区分“系统1”与“系统2”。未来的工作也可以更精细地交错高级和低级处理——虽然我们的系统仅以固定但较低的频率运行高级推理，但一个自适应系统可能同时在多个不同的抽象层次上异步处理输入和语言，从而提供更灵活的多层次推理过程。
我们的系统也存在一些局限性，可以在未来的工作中进行研究。虽然我们展示了我们的高级策略通常能够将复杂命令分解为机器人可以物理执行的低级步骤，但该高级模型的训练过程在一定程度上依赖于提示工程来生成诱导这种行为的合成训练示例。该训练过程将高级和低级模型解耦，它们除了通过训练示例之外，并不了解彼此的能力。更直接地耦合这两层，例如通过使高级策略更了解低级策略完成每个命令的成功程度，将是未来工作一个令人兴奋的方向。更一般地，通过使用VLM实例化高级和低级推理，我们相信这种设计为这些组件更精细的整合打开了大门，使得未来的工作可能会创建机器人视觉-语言-动作模型，这些模型能够动态地推理输入、反馈，甚至自身的能力，从而在复杂的开放世界环境中产生合适的情境化响应。
原文链接：https://www.pi.website/download/hirobot.pdf
热门跟贴