对齐数字空间与物理世界：具身人工智能综合综述
Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI
https://arxiv.org/pdf/2407.06886v1
摘要
具身人工智能（Embodied AI）对于实现通用人工智能（AGI）至关重要，并作为连接数字空间与物理世界的多种应用的基础。近年来，多模态大模型（MLMs）和世界模型（WMs）的出现因其卓越的感知、交互和推理能力而受到广泛关注，使其成为具身体体大脑的一种有前景的架构。然而，目前尚未有关于MLM时代具身AI的全面综述。在本综述中，我们对具身AI的最新进展进行了全面探索。我们的分析首先导航了具身机器人和模拟器的代表性前沿工作，以充分理解研究重点及其局限性。随后，我们分析了四个主要研究目标：1）具身感知，2）具身交互，3）具身体体，以及4）仿真到现实的适应，涵盖了最先进的方法、基本范式和全面的数据集。此外，我们探讨了MLM在虚拟和真实具身体体中的复杂性，强调了它们在促进动态数字和物理环境中交互的重要性。最后，我们总结了具身AI面临的挑战和局限性，并讨论了其潜在的未来方向。我们希望本综述能为研究界提供基础性参考，并激发持续创新。相关项目可在 https://github.com/HCPLab-SYSU/EmbodiedAI Paper List 找到。
索引词— 具身人工智能，数字空间，物理世界，多模态大模型，世界模型，智能体，机器人学
I. 引言
具身人工智能（Embodied AI）最初源于艾伦·图灵于1950年提出的具身图灵测试 [1]，该测试旨在判断智能体是否不仅能展现解决虚拟环境（数字空间¹）中抽象问题的智能，还能应对物理世界的复杂性和不可预测性。数字空间中的智能体通常被称为非具身AI，而物理空间中的则是具身AI（表I）。多模态大模型（MLMs）的最新进展为具身模型注入了强大的感知、交互和规划能力，以开发能够主动与虚拟和物理环境交互的通用具身体体和机器人 [2]。因此，具身体体被广泛视为MLM的最佳载体。近期代表性的具身模型有RT-2 [3]和RT-H [4]。然而，当前MLM在长期记忆、理解复杂意图和分解复杂任务方面的能力仍然有限。
为实现通用人工智能（AGI），发展具身AI是一条根本路径。与ChatGPT [5]等对话智能体不同，具身AI认为真正的AGI可以通过控制物理实体并与模拟环境和物理环境交互来实现 [6]–[9]。站在AGI驱动创新的前沿，我们亟需深入具身AI领域，解开其复杂性，评估其当前发展阶段，并思考其未来可能的轨迹。如今，具身AI包含计算机视觉（CV）、自然语言处理（NLP）和机器人学中的多种关键技术，最具代表性的是具身感知、具身体交互、具身体体和仿真到现实的机器人控制。因此，通过全面综述来捕捉具身AI在追求AGI过程中的演进格局势在必行。
具身体体是具身AI最突出的基础。对于一个具身任务，具身体体必须充分理解语言指令中的人类意图，主动探索周围环境，全面感知来自虚拟和物理环境的多模态元素，并为复杂任务执行适当行动 [13], [14]，如图2所示。多模态模型的快速进展在复杂环境中展现出相比传统深度强化学习方法更优越的通用性、灵巧性和泛化能力。来自最先进视觉编码器 [15], [16]的预训练视觉表征提供了对物体类别、姿态和几何的精确估计，使具身模型能够全面感知复杂动态环境。强大的大语言模型（LLMs）使机器人更好地理解人类语言指令。MLM中的众多多模态融合方法为对齐具身机器人的视觉和语言表征提供了可行途径。世界模型 [17], [18]展现出卓越的模拟能力和对物理法则的有前景的理解力，使具身模型能够全面理解物理环境和真实环境。这些创新使具身体体能够全面感知复杂环境、自然地与人类交互并可靠地执行任务。
具身AI的进展呈现出快速发展态势，在研究界引起了极大关注（图1），并被公认为实现AGI最可行的路径。Google Scholar报告了大量具身AI出版物，仅2023年就发表了约10,700篇论文。这相当于平均每天29篇，即每小时超过一篇。尽管人们对利用MLM的强大感知和推理能力兴趣浓厚，但研究界仍缺乏一篇能够帮助梳理现有具身AI研究、面临挑战及未来研究方向的全面综述。在MLM时代，我们旨在通过对从数字空间到物理世界的具身AI进行系统性综述来填补这一空白。我们从不同角度展开综述，包括具身机器人、模拟器、四个代表性具身任务（视觉主动感知、具身体交互、多模态智能体和仿真到现实的机器人控制）以及未来研究方向。我们相信，本综述将清晰地呈现我们已经取得的成就以及在这一新兴且前景广阔的研究方向上可以进一步实现的目标。
与以往工作的区别：尽管已有若干篇具身AI综述论文 [7], [19]–[21]，但其中大多数已过时，因为它们发表于大约2023年开始的MLM时代之前。据我们所知，2023年后仅有一篇综述论文 [9]，且仅聚焦于视觉-语言-行动具身AI模型。然而，MLM、WM和具身体体未被充分考虑。此外，具身机器人和模拟器的近期发展也被忽视。为解决这一快速发展的领域中综合性综述论文的匮乏，我们提出此篇全面综述，涵盖代表性具身机器人、模拟器及四个主要研究任务：具身感知、具身体交互、具身体体和仿真到现实的机器人控制。
总之，本文的主要贡献有三方面。第一，它对具身AI进行了系统回顾，包括具身机器人、模拟器和四个主要研究任务：视觉主动感知、具身体交互、具身体体和仿真到现实的机器人控制。据我们所知，这是基于MLM和WM从数字与物理空间对齐视角出发的首篇具身AI全面综述，提供了广泛概览，并对现有研究进行了全面总结和分类。第二，它考察了具身AI的最新进展，提供了跨多个模拟器和数据集的当前工作的全面基准测试和讨论。第三，它识别了具身AI在AGI研究中的若干挑战和潜在方向。
本综述的其余部分组织如下。第2节介绍各种具身机器人。第3节描述通用和真实场景具身模拟器。第4节介绍具身感知，包括主动视觉感知、3D视觉定位、视觉语言导航和非视觉感知。第5节介绍具身体交互。第6节介绍具身体体，包括具身多模态基础模型和具身任务规划。第7节介绍仿真到现实的适应，包括具身世界模型、数据收集和具身控制。最后，我们在第8节分享几个有前景的研究方向。
II. 具身机器人
具身AI主动与物理环境交互，涵盖广泛的具身形式，包括机器人、智能家电、智能眼镜、自动驾驶车辆等。其中，机器人是最突出的具身形式之一。根据应用不同，机器人被设计为各种形态以利用其硬件特性执行特定任务，如图4所示。
A. 固定基座机器人
固定基座机器人如图4（a）所示，因其紧凑性和高精度操作而被广泛用于实验室自动化、教育培训和工业制造。这些机器人具有坚固的基座和结构，确保操作过程中的稳定性和高精度。配备高精度传感器和执行器，它们可实现微米级精度，适用于需要高精度和可重复性的任务 [22]。此外，固定基座机器人具有高度可编程性，使用户能够将其适配于各种任务场景，例如Franka（Franka Emika panda）[23]、Kuka iiwa（KUKA）[24]和Sawyer（Rethink Robotics）[25]。尽管在许多领域表现出色，固定基座机器人也有一定缺点。首先，其固定基座设计限制了操作范围和灵活性，无法在大范围内移动或调整位置，这导致它们需要与人类和其他机器人协作。其次，固定基座机器人通常价格昂贵，需要专业人员安装和维护，增加了初始投资和运营成本 [22], [26]。
B. 轮式机器人和履带式机器人
对于移动机器人，它们可以面对更复杂和多样化的应用场景。轮式机器人如图4（b）所示，以高效移动性著称，广泛用于物流、仓储和安全巡检。轮式机器人的优势包括结构简单、成本相对较低、能效高以及在平坦地面上快速移动的能力 [22]。这些机器人通常配备高精度传感器（如激光雷达和摄像头），实现自主导航和环境感知，使其在自动化仓库管理和巡检任务中非常高效，例如Kiva机器人（Kiva Systems）[27]和Jackal机器人（Clearpath Robotics）[28]。然而，轮式机器人在复杂地形和恶劣环境中的机动性有限，尤其是在不平坦地面上。此外，其负载能力和操控性也受到一定限制。
相比之下，履带式机器人凭借其强大的越野能力和高机动性，在农业、建筑和灾难救援等领域展现出显著潜力，如图4（c）所示。履带系统提供了更大的接地面积，分散机器人重量，降低在泥泞和沙地等软质地形中下陷的风险。此外，履带式机器人通常配备强大的动力和悬挂系统，使其在复杂地形上保持稳定性和牵引力 [29]。因此，可靠的履带式机器人也被用于军事等敏感领域。iRobot PackBot是一种多功能军用履带机器人，能够执行侦察、爆炸物处理和搜救等任务 [30]。然而，由于履带系统的高摩擦，履带式机器人通常能效较低。此外，它们在平坦地面上的移动速度不如轮式机器人快，灵活性和操控性也相对较低。
C. 四足机器人
四足机器人以其稳定性和适应性著称，非常适合复杂地形探索、救援任务和军事应用。受四足动物启发，这些机器人能够在不平地面上保持平衡和移动性，如图4（d）所示。多关节设计使其能够模仿生物运动，实现复杂步态和姿态调整。高可调节性使机器人能够自动适应变化的地形姿态，增强机动性和稳定性。感知系统（如激光雷达和摄像头）提供环境感知，使机器人能够自主导航和避障 [31]。研究人员常用几种四足机器人作为研究平台：宇树科技（Unitree Robotics）、波士顿动力Spot和ANYmal C。宇树科技的Unitree A1和Go1以成本效益和灵活性著称。A1 [32]和Go1 [33]具有强大的移动性和智能避障能力，适用于各种应用。波士顿动力的Spot以其卓越的稳定性和操作灵活性而闻名，常用于工业巡检和救援任务。它具有强大的承载能力和适应性，能在恶劣环境中执行复杂任务 [34]。ANYbotics的ANYmal C凭借模块化设计和高耐用性，被广泛用于工业巡检和维护。ANYmal C配备自主导航和远程操作能力，适用于长时间户外任务甚至极端月球任务 [35]。与固定基座机器人类似，四足机器人也面临类似的缺点，如高成本。四足机器人的复杂设计和高制造成本导致大量初始投资，限制了其在成本敏感领域的使用。此外，四足机器人在复杂环境中的电池续航有限，需要频繁充电或更换电池才能长时间运行 [36]。
D. 人形机器人
继固定基座机器人和四足机器人的讨论之后，人形机器人以其类人外形为特征，在服务业、医疗保健和协作环境等领域日益普及。这些机器人能够模仿人类的动作和行为模式，提供个性化服务和支持。其灵巧手设计使它们能够执行精细复杂的任务，这使它们区别于其他类型的机器人，如图4（e）所示。这些灵巧手通常具有多个自由度和高精度传感器，能够模拟人手的抓取和操作能力，这在医疗手术和精密制造等领域尤为关键 [37], [38]。在当前的人形机器人中，Atlas（波士顿动力）以其卓越的移动性和稳定性而闻名。Atlas能够执行跑、跳、翻滚等复杂动态动作，展示了人形机器人在高动态环境中的潜力 [39]。HRP系列（AIST）被用于各种研究和工业应用，其设计侧重于高稳定性和灵活性，使其在复杂环境中有效执行任务，尤其是在与人协作的任务中 [40]。ASIMO（本田）是最著名的人形机器人之一，能够行走、跑步、爬楼梯，并识别面部和手势，适用于接待和导览服务 [41]。此外，小型社交机器人Pepper（软银机器人）能够识别情感并进行自然语言交流，广泛应用于客户服务和教育场景 [42]。
尽管在许多领域表现出色，人形机器人因其复杂的控制系统，在复杂环境中维持操作稳定性和可靠性方面面临重大挑战。这些挑战包括鲁棒的双足行走控制算法和灵巧手抓取算法 [37]。此外，基于液压系统的传统人形机器人结构笨重且维护成本高，正逐渐被电机驱动系统取代。近期，特斯拉和宇树科技推出了基于电机系统的人形机器人。随着LLM的集成，人形机器人有望更智能地处理各种复杂任务，填补制造业、医疗保健和服务业的劳动力缺口，从而提高效率和安全性 [43]。
E. 仿生机器人
与前述机器人不同，仿生机器人通过模拟自然生物的高效运动和功能，在复杂动态环境中执行任务。通过模仿生物实体的形态和运动机制，这些机器人在医疗保健、环境监测和生物学研究等领域展现出显著潜力 [22]。通常，它们利用柔性材料和结构来实现逼真、敏捷的运动。这些材料不仅增强了机器人的适应性和灵活性，还最小化了环境影响。此外，仿生机器人通常配备先进的传感器和控制系统，能够实时感知环境并快速响应，从而增强自主导航和任务执行能力。重要的是，仿生设计通过模仿生物的高效运动机制，能够显著提高机器人的能效，使其在能耗方面更加经济 [54], [55]。这些仿生机器人包括鱼类机器人 [56], [57]、昆虫类机器人 [58], [59]和软体机器人 [60]，如图4（f）所示。尽管性能令人印象深刻，仿生机器人仍面临若干挑战。首先，其设计和制造过程通常复杂且昂贵，限制了大规模生产和广泛应用。其次，由于使用柔性材料和复杂运动机制，仿生机器人在极端环境中的耐久性和可靠性有待提高。
III. 具身模拟器
数据稀缺一直是具身AI研究中长期存在的挑战。然而，收集真实世界的机器人数据面临着诸多难题。首先，真实世界的机器人训练由于其实时性而进展缓慢，无法并行化。相关成本过高，需要专用的部署场地、专业操作控制人员进行数据采集，以及大量的硬件开支。此外，最大的挑战在于可复现性，这源于机器人硬件配置、控制方法和实现框架的巨大差异，阻碍了数据的可迁移性。在此情况下，模拟器为具身AI的数据收集和训练提供了一种新的解决方案。
具身模拟器对具身AI至关重要，因为它们提供了成本效益高的实验方式，通过模拟潜在危险场景确保安全性，可在多样化环境中进行可扩展测试，具备快速原型制作能力，对更广泛的研究社区具有可访问性，提供可控环境以进行精确研究，生成用于训练和评估的数据，并提供用于算法比较的标准化基准。为使智能体能够与环境交互，必须构建一个逼真的模拟环境。这需要考虑环境的物理特性、物体的属性及其相互作用。
本节将分两部分介绍常用的模拟平台：基于底层仿真的通用模拟器和基于真实场景的模拟器。
A. 通用模拟器
真实环境中存在的物理交互和动态变化是不可替代的。然而，在物理世界中部署具身模型通常成本高昂且面临诸多挑战。具身AI的最终目标是将虚拟环境中的研究成果迁移到现实世界应用中。研究人员可以选择最适合其需求的模拟器来辅助研究。通用模拟器提供了密切模拟物理世界的虚拟环境，允许算法开发和模型训练，在成本、时间和安全性方面具有显著优势。
Isaac Sim[44] 由NVIDIA开发，是一个专为机器人和AI研究设计的高级模拟平台。Isaac Sim的主要特性包括高保真物理仿真、实时光线追踪、广泛的机器人模型库和深度学习支持。Pixar的USD（通用场景描述）格式也被引入以描述机器人和复杂场景。Isaac Sim提供了多种预构建的机器人模型和环境，并支持用户自定义模型。其应用场景包括机器人导航与控制、自动驾驶、工业自动化和人机交互。通过提供一个强大且通用的平台，Isaac Sim显著提高了机器人和AI研究的效率和效果。
Gazebo[61] 是由Open Robotics开发的开源模拟器，广泛用于机器人研究和教育。它提供高保真物理仿真和丰富功能，使其成为研究人员和开发者的首选工具。Gazebo的主要特性包括高保真物理仿真、多样化传感器仿真、丰富的机器人库以及与ROS的紧密集成。Gazebo支持多种传感器的仿真，包括相机、激光雷达和声纳，并提供众多预构建的机器人模型和环境，支持自定义模型。其应用场景包括机器人导航与控制以及多机器人系统。
PyBullet[47] 是Bullet物理引擎的Python接口，提供了一个易于使用的模拟环境。PyBullet的主要特性包括易用性、实时物理仿真、多样化传感器仿真和深度学习集成。PyBullet支持实时物理仿真，包括刚体动力学、碰撞检测和约束求解。其应用场景包括机器人导航与控制、强化学习和计算机图形学。
表II展示了10个通用模拟器的主要特性和主要应用场景。它们在具身AI领域各自提供了独特的优势。研究人员可根据具体研究需求选择最合适的模拟器，从而加速具身AI技术的开发和应用。图5展示了通用模拟器的可视化效果。
B. 基于真实场景的模拟器
在家庭活动中实现通用具身体体一直是具身AI研究领域的主要焦点。这些具身体体需要深入理解人类的日常生活，并在室内环境中执行导航和交互等复杂具身任务。为满足这些复杂任务的需求，模拟环境需要尽可能接近真实世界，这对模拟器的复杂性和真实感提出了高要求。这促成了基于真实世界环境的模拟器的创建。这些模拟器大多从真实世界收集数据，创建照片级逼真的3D资产，并使用UE5和Unity等3D游戏引擎构建场景。丰富而逼真的场景使基于真实世界环境的模拟器成为家庭活动中具身AI研究的首选。
AI2-THOR[62] 是一个基于Unity3D的室内具身场景模拟器，由艾伦人工智能研究所于2017年推出。作为在真实世界中构建的高保真模拟器，AI2-THOR最大的特点是其丰富的可交互场景对象及其被赋予的物理属性（如打开/关闭甚至冷/热）。AI2-THOR由两部分组成：iTHOR和RoboTHOR。iTHOR包含120个房间，分为厨房、卧室、浴室和客厅，拥有超过2000个独特的可交互对象，并支持多智能体模拟；RoboTHOR包含89个模块化公寓，拥有600多个对象，其独特之处在于这些公寓对应于真实世界中的真实场景。这意味着研究人员可以远程将模型部署到真实环境中。迄今为止，已有超过一百项工作基于AI2-THOR发表。
Matterport 3D[63] 于2018年在R2R [64]中提出，更常被用作大规模2D-3D视觉数据集，而非具身模拟器。Matterport3D数据集包含90个建筑室内场景，包含10,800张全景图和194,400张RGB-D图像，并提供表面重建、相机姿态以及2D和3D语义分割标注。在具身AI中，Matterport3D主要用于视觉语言导航。Matterport3D将3D场景转换为离散的“视点”，具身体体在Matterport3D场景中的相邻“视点”之间移动。在每个“视点”，具身体体可获得以该“视点”为中心的1280×1024全景图像（18× RGB-D）。Matterport3D的优势在于其大规模、多样化且标注详细的2D-3D数据，以及无需部署模拟器所带来的易用性和灵活性。在具身导航领域，Matterport3D已成为最重要的基准之一。
Virtualhome[65] 是Puig等人于2018年提出的家庭活动具身AI模拟器。Virtualhome最特殊之处在于其以环境图来表示环境。具体而言，环境图是由节点（对应对象）和边（对应关系）组成的字典。节点包括当前环境中的所有对象，以及对应的ID、状态等信息。这种环境图为具身体体理解环境提供了一种新方式。此外，用户可以自定义和修改环境图，以实现场景对象的自定义配置。与AI2-THOR类似，Virtualhome也提供了大量可交互对象，具身体体可以与之交互并改变其状态。Virtualhome还提供了6个可同时部署的人形智能体，并支持从多个视角获取RGB-D和语义信息。Virtualhome的另一个特点是其简单易用的API。具身体体的动作被简化为“操作+对象”的格式。这一特点使Virtualhome被广泛应用于具身规划、指令分解等研究领域。
Habitat[66] 是Meta于2019年推出的大规模人机交互研究开源模拟器。Habitat包含三个部分：Habitat-sim、Habitat-lab和Habitat-challenge。其中，Habitat-sim是一个基于Bullet物理引擎的高性能3D模拟器，是Habitat的基础；Habitat-lab是基于Habitat-sim封装的用于强化学习的具身仿真框架；Habitat-challenge是基于Habitat的一系列基准。Habitat最大的特点在于其极高的开放度。研究人员可以在Habitat中导入和创建自己的3D场景，或使用Habitat平台上丰富的开放资源进行扩展。这使Habitat拥有其他模拟平台无法比拟的多种场景。Habitat拥有丰富的可定制传感器，并支持多智能体模拟。来自开放资源或自定义的多个具身体体（如人类和机器狗）可以在模拟场景中协作、自由移动，并与场景进行简单交互。基于这些优势，Habitat正吸引越来越多的关注。
与其他更侧重于场景的模拟器不同，SAPIEN[67] 更加关注模拟场景中对象的交互。基于PhysX物理引擎，SAPIEN提供细粒度的具身控制，可通过ROS接口实现基于力和力矩的关节控制，其高层动作接口也可支持具身体体的运动规划以避免碰撞。基于PartNet-Mobility数据集，SAPIEN提供了包含丰富可交互对象的室内仿真场景，并支持自定义资源的导入。与AI2-THOR等模拟器提供的直接改变对象状态的API不同，SAPIEN支持模拟物理交互，具身体体可以通过物理动作控制对象的铰接部件，从而改变对象状态。这些特性使SAPIEN非常适合训练具身AI的细粒度物体操作。
iGibson[68] [69] 是斯坦福大学Li团队于2021年推出的开源模拟器。iGibson基于Bullet物理引擎构建，提供15个高质量的室内场景，并支持从Gibson和Matterport3D等其他数据集导入资产，可实现总共超过10,000个模拟场景。作为一个面向对象的模拟器，iGibson为对象分配了丰富的可变化属性，不仅限于对象的运动学属性（姿态、速度、加速度、铰接对象的关节配置），还包括温度、湿度、清洁度、开关状态等。这使得iGibson能够实现更复杂的具身交互，并构建更困难、长时程的具身任务。此外，除了其他模拟器标配的深度和语义传感器外，iGibson还为具身体体提供了激光雷达，使具身体体能够轻松获取场景中的3D点云。关于具身体体配置，iGibson支持连续动作控制和细粒度关节控制。这使得iGibson中的具身体体能够在自由移动的同时与场景中的对象进行精细交互。
TDW[70] 由麻省理工学院于2021年推出。作为最新的具身AI模拟器之一，TDW结合了高保真视频和音频渲染、逼真的物理效果以及单个灵活控制器，在模拟环境的感知和交互方面取得了一定进展。TDW将多个物理引擎集成到一个框架中，可实现刚体、软体、织物和流体等多种材质的物理交互仿真，并在与对象交互时提供情境音效。在这方面，TDW相比其他模拟器迈出了重要一步。TDW支持多智能体部署，并为用户提供了丰富的API库和资产库，允许用户根据自己的需求自由定制场景和任务，甚至户外场景和相关任务。极高的自由度赋予了TDW更大的潜力。
表III总结了上述所有基于真实场景的模拟器。Sapien在其中较为特殊，它完全为模拟与关节对象（如门、橱柜和抽屉）的交互而设计；Virtualhome独特的环境图使其被广泛用于基于自然语言描述环境的高层具身规划；AI2Thor提供了丰富的交互场景，但这些交互与Virtualhome一样，仅通过脚本实现，不具备真实的物理交互。然而，这种设计对于不关注细粒度交互的具身任务而言已经足够；iGibson和TDW均提供细粒度的具身控制和高仿真物理交互，其中iGibson提供了更丰富逼真的大规模场景，使其适用于更复杂和长时程的移动操作任务，而TDW为用户提供了更高的自由度，用户可自由扩展场景，且TDW独特的音频以及灵活、流体的仿真使其在相关仿真场景中不可替代；Matterport3D作为基础的2D-3D视觉数据集，在当前具身AI基准中被广泛使用和扩展；在Habitat中，具身体体缺乏交互能力，但Habitat庞大的室内场景、易用的接口和开放的框架使其在具身导航领域备受重视。
此外，自动化仿真场景构建对于获取高质量具身数据大有裨益。RoboGen [71] 通过大语言模型从随机采样的3D资产中定制任务，从而创建场景并自动训练智能体；HOLODECK [72] 可根据人类指令在AI2-THOR中自动定制相应的高质量仿真场景；PhyScene [73] 基于条件扩散生成具有交互性和物理一致性的高质量3D场景。艾伦人工智能研究所扩展了AI2-THOR并提出了ProcTHOR [74]，可自动生成具有充分交互性、多样性和合理性的仿真场景。这些方法为具身AI的发展提供了新的思路。
IV. 具身感知
视觉感知未来的“北极星”是以具身为中心的视觉推理和社会智能 [75]。与仅识别图像中的对象 [76]–[78] 不同，具身感知的智能体必须在物理世界中移动并与环境交互。这需要更深入理解3D空间和动态环境。具身感知需要视觉感知和推理能力、理解场景中的3D关系，并基于视觉信息预测和执行复杂任务。
A. 主动视觉感知
主动视觉感知系统需要状态估计、场景感知和环境探索等基础能力。如图7所示，这些能力在视觉同时定位与建图（vSLAM）[119], [120]、3D场景理解 [121] 和主动探索 [13] 等领域得到了广泛研究。这些研究领域有助于开发鲁棒的主动视觉感知系统，促进在复杂动态环境中改善环境交互和导航。我们简要介绍这三个组件，并在表IV中总结各部分提到的方法。
1) 视觉同时定位与建图：同时定位与建图（SLAM）是一种在未知环境中确定移动机器人位置并同时构建该环境地图的技术 [122], [123]。基于测距的SLAM [124]–[126] 使用测距仪（如激光扫描仪、雷达和/或声纳）创建点云表示，但成本高且提供的环境信息有限。视觉SLAM（vSLAM）[119], [120] 使用机载相机捕获帧并构建环境表示。由于其硬件成本低、小场景精度高且能捕获丰富的环境信息，已得到广泛普及。经典vSLAM技术可分为传统vSLAM和语义vSLAM [120]。
传统vSLAM系统利用图像信息和多视图几何原理在未知环境中估计机器人位姿，并构建由点云组成的低层地图（如稀疏地图、半密集地图和密集地图），例如基于滤波的方法（如MonoSLAM [79]、MSCKF [80]）、基于关键帧的方法（如PTAM [81]、ORB-SLAM [82]）和直接跟踪方法（如DTAM [83]、LSD-SLAM [84]）。由于这些低层地图中的点云不对应环境中的对象，具身机器人难以直接理解和使用。随着语义概念的兴起，结合语义信息解决方案的语义vSLAM系统显著增强了机器人感知未知环境的能力。
早期工作如SLAM++ [85] 使用实时3D对象识别和跟踪创建高效的对象图，在杂乱环境中实现鲁棒的闭环检测、重定位和对象检测。CubeSLAM [86] 和HDP-SLAM [87] 将3D矩形框引入地图以构建轻量级语义地图。QuadricSLAM [88] 采用语义3D椭球体在复杂几何环境中实现对象形状和姿态的精确建模。So-SLAM [89] 在室内环境中加入了完全耦合的空间结构约束（共面性、共线性和邻近性）。为应对动态环境的挑战，DS-SLAM [90]、DynaSLAM [91] 和SG-SLAM [92] 采用语义分割进行运动一致性检查，并结合多视图几何算法识别和过滤动态对象，确保稳定的定位和建图。OVD-SLAM [93] 利用语义、深度和光流信息，在无需预定义标签的情况下区分动态区域，实现更准确和鲁棒的定位。GS-SLAM [94] 利用3D高斯表示，通过实时可微分溅射渲染管道和自适应扩展策略，在效率和准确性之间取得平衡。
2) 3D场景理解：3D场景理解旨在从3D场景数据中区分对象的语义、识别其位置并推断几何属性，这是自动驾驶 [127]、机器人导航 [128] 和人机交互 [129] 等领域的基础。场景可使用激光雷达或RGB-D传感器等3D扫描工具记录为3D点云。与图像不同，点云具有稀疏性、无序性和不规则性 [121]，使得场景解释极具挑战性。
近年来，已提出大量用于3D场景理解的深度学习方法，可分为基于投影、基于体素和基于点的方法。具体而言，基于投影的方法（如MV3D [95]、PointPillars [96]、MVCNN [97]）将3D点投影到各种图像平面上，并采用基于2D CNN的骨干网络进行特征提取。基于体素的方法将点云转换为规则体素网格以方便3D卷积操作（如VoxNet [98]、SSCNet [99]），一些工作通过稀疏卷积提高效率（如MinkowskiNet [100]、SSCNs [101]、Embodiedscan [102]）。相比之下，基于点的方法直接处理点云（如PointNet [103]、PointNet++ [104]、PointMLP [105]）。最近，为实现模型可扩展性，基于Transformer（如PointTransformer [106]、Swin3d [107]、PT2 [108]、PT3 [109]）和基于Mamba（如PointMamba [110]、PCM [111]、Mamba3D [112]）的架构相继出现。
3) 主动探索：前述3D场景理解方法赋予机器人以被动方式感知环境的能力。在这种情况下，感知系统的信息获取和决策不会随场景演变而调整。然而，被动感知是主动探索的重要基础。鉴于机器人能够移动并频繁与环境交互，它们也应能主动探索和感知环境。两者关系如图7所示。当前解决主动感知的方法侧重于与环境交互 [113], [114] 或通过改变视角方向获取更多视觉信息 [115]–[118]。
例如，Pinto等人 [113] 提出了一种好奇机器人，通过与环境的物理交互学习视觉表示，而非仅依赖数据集中的类别标签。为应对不同形态机器人间交互式对象感知的挑战，Tatiya等人 [114] 创新性地提出了多阶段投影框架，通过学到的探索性交互传递隐式知识，使机器人能有效识别对象属性而无需从头重新学习。认识到自主捕获信息性观测的挑战，Jayaraman等人 [115] 提出了一种强化学习方法，智能体通过学习减少对环境中未观测部分的不确定性，主动获取信息性视觉观测，使用循环神经网络进行全景场景和3D对象形状的主动补全。NeU-NBV [116] 引入了一种无地图规划框架，迭代定位RGB相机以捕获未知场景中最具信息量的图像，通过基于图像神经渲染中的新颖不确定性估计来引导数据收集朝向最不确定的视图。Hu等人 [117] 开发了一种机器人探索算法，使用状态价值函数预测未来状态的价值，结合离线蒙特卡洛训练、在线时序差分适应和基于传感器信息覆盖的内在奖励函数。为解决开放世界环境中意外输入的问题，Fan等人 [118] 提出了一种策略，将主动识别视为序贯证据收集过程，在证据组合理论下提供逐步不确定性量化和可靠预测，同时通过专门开发的奖励函数有效表征开放世界环境中行动的价值。
B. 3D视觉定位
与局限于平面图像的传统2D视觉定位（VG）不同，3D VG融合了深度、视角和对象间的空间关系，为智能体与环境交互提供了更鲁棒的框架。3D VG任务涉及使用自然语言描述在3D环境中定位对象 [130], [131]。如表V所总结，近期3D视觉定位方法大致可分为两类：两阶段方法和一阶段方法 [145]。
1) 两阶段3D视觉定位方法：与相应的2D任务 [146] 类似，3D定位的早期研究主要采用两阶段的“先检测后匹配”流程。它们首先使用预训练的检测器 [147] 或分割器 [148]–[150] 从3D场景中的大量对象提案中提取特征，然后将这些特征与语言查询特征融合以匹配目标对象。两阶段研究的重点主要在第二阶段，例如探索对象提案特征与语言查询特征之间的关联以选择最佳匹配对象。ReferIt3D [131] 和TGNN [132] 不仅学习将提案特征与文本嵌入匹配，还通过图神经网络编码对象之间的上下文关系。为增强自由形式描述和不规则点云中的3D视觉定位，FFL-3DOG [134] 利用语言场景图进行短语关联，利用多级3D提案关系图丰富视觉特征，并利用描述引导的3D视觉图编码全局上下文。
近年来，随着Transformer架构在自然语言处理 [151], [152] 和计算机视觉任务 [15], [153] 中展现出卓越性能，研究日益聚焦于使用Transformer在3D视觉定位任务中提取和融合视觉语言特征。例如，LanguageRefer [136] 采用基于Transformer的架构，结合3D空间嵌入、语言描述和类别标签嵌入，实现了鲁棒的3D视觉定位。3DVG-Transformer [135] 是一种面向3D点云的关系感知视觉定位方法，包含用于关系增强提案生成的坐标引导上下文聚合模块和用于跨模态提案消歧的多重注意力模块。为实现对3D对象和指代表达的更细粒度推理，TransRefer3D [154] 通过实体和关系感知注意力增强跨模态特征表示，结合了自注意力、实体感知注意力和关系感知注意力。上述大多数3D VG方法聚焦于特定视角，但当视角变化时，学到的视觉-语言对应关系可能失效。为学习更具视角鲁棒性的视觉表示，MVT [138] 提出了一种多视角Transformer，学习视角无关的多模态表示。为缓解稀疏、噪声和不完整点云的局限性，多种方法探索了从捕获图像（如SAT [133]）或合成图像（如LAR [137]）中融入详细的2D视觉特征以增强3D视觉定位任务。
现有3D VG方法通常依赖大量标注数据进行训练，或在处理复杂语言查询方面存在局限性。受LLM卓越语言理解能力的启发，LLM-Grounder [139] 提出了一种无需标注数据的开放词汇3D视觉定位流程，利用LLM分解查询并生成对象识别计划，随后评估空间和常识关系以选择最佳匹配对象。为捕获视角相关查询并解读3D空间中的空间关系，ZSVG3D [140] 设计了一种零样本开放词汇3D视觉定位方法，使用LLM识别相关对象并进行推理，将该过程转换为脚本化视觉程序，再转换为可执行Python代码以预测对象位置。然而，如图8（b）所示，这些两阶段方法面临确定提案数量的困境，因为第一阶段使用的3D检测器需要采样若干关键点来表示整个3D场景并为每个关键点生成相应提案。稀疏提案可能在第一阶段遗漏目标，使其在第二阶段无法匹配。相反，密集提案可能包含不可避免的冗余对象，导致由于提案间关系过于复杂而在第二阶段难以区分目标。此外，关键点采样策略与语言无关，增加了检测器识别与语言相关提案的难度。
2) 一阶段3D视觉定位方法：如图8（c）所示，与两阶段3D VG方法相比，一阶段3D VG方法将对象检测和特征提取整合在语言查询引导下，更容易定位与语言相关的对象。
3D-SPS [141] 将3D VG任务视为关键点选择问题，避免了检测和匹配的分离。具体而言，3D-SPS首先通过描述感知关键点采样模块粗略采样与语言相关的关键点。随后，通过目标导向的渐进挖掘模块精细选择目标关键点并预测基础目标。受2D图像语言预训练模型（如MDETR [155] 和GLIP [156]）的启发，BUTD-DETR [142] 提出了一种自底向上的检测Transformer，可用于2D和3D VG。具体而言，BUTD-DETR利用标注的自底向上框提案和自顶向下语言描述，通过预测头引导目标对象和相应语言跨度的解码。
然而，上述方法要么提取耦合所有词的句子级特征，要么更关注描述中的对象名称，这会丢失词级信息或忽略其他属性。为解决这些问题，EDA [143] 显式解耦句子中的文本属性，并在这种细粒度语言与点云对象之间进行密集对齐。首先，将长文本解耦为五个语义组件，包括主对象、辅助对象、属性、代词和关系。随后，设计密集对齐以将所有与对象相关的解耦文本语义组件与视觉特征对齐。为能够从隐式指令中推理人类意图，ReGround3D [144] 设计了一个以视觉为中心的推理模块（由多模态大语言模型驱动）和一个3D定位模块（通过重新审视3D场景中增强的几何和细粒度细节来准确获取对象位置）。此外，还采用了一种链式定位机制，通过交替的推理和定位步骤来改进3D推理定位。
C. 视觉语言导航
视觉语言导航（VLN）是具身AI的一个关键研究问题，旨在使智能体能够遵循语言指令在未见环境中导航。VLN要求机器人理解复杂多样的视觉观测，同时解读不同粒度的指令。VLN的输入通常由两部分组成：视觉信息和自然语言指令。视觉信息可以是过去轨迹的视频或一组历史-当前观测图像。自然语言指令包括具身体体需要到达的目标或预期完成的任务。具身体体必须利用上述信息从候选动作列表中选择一个或一系列动作以满足自然语言指令的要求。此过程可表示为：
其中 Action是所选动作或候选动作列表， O O是当前观测， H H是历史信息， I I是自然语言指令。
SR（成功率）、TL（轨迹长度）和SPL（路径长度加权成功率）是VLN中最常用的指标。其中，SR直接反映具身体体的导航性能，TL反映导航效率，SPL将两者结合以指示具身体体的整体表现。
下面，我们将视觉语言导航分为数据集和方法两部分进行介绍。
1) 数据集：在视觉语言导航中，自然语言指令可以是一系列详细的动作描述、一个完整描述的目标、或仅粗略描述的任务，甚至只是人类的需求。具身体体需要完成的任务可能仅为单次导航，或带有交互的导航，或需要按顺序完成的多个导航任务。这些差异给视觉语言导航带来了不同的挑战，也因此诞生了许多不同的数据集。基于这些差异，我们将分别介绍视觉语言导航中的重要数据集。
Room to Room[64] 是Anderson等人基于Matterport3D创建的视觉语言导航数据集。在R2R中，具身体体根据逐步指令导航，基于视觉观测选择下一个相邻导航图节点前进，直至到达目标位置。具身体体需要动态跟踪进度，以使导航过程与细粒度指令对齐。Room-for-Room[157] 将R2R中的路径扩展为更长轨迹，对具身体体的长距离指令和历史对齐能力提出了更高要求。VLN-CE[158] 将R2R和R4R扩展到连续环境，具身体体可在场景中自由移动，这使得具身体体的动作决策更加困难。与上述基于室内场景的数据集不同，Chen等人基于Google Street View创建了TOUCHDOWN数据集 [159]。在TOUCHDOWN中，具身体体遵循指令在纽约市街景渲染仿真中导航以找到指定对象。
与R2R类似，REVERIE数据集 [160] 也基于Matterport3D模拟器构建。REVERIE要求具身体体根据简洁、人工标注的高层自然语言指令，准确定位远处不可见的目标对象，这意味着具身体体需要在场景中的大量对象中找到目标对象。在SOON[161] 中，智能体接收从粗到细的长而复杂的指令，在3D环境中寻找目标对象。导航过程中，智能体首先搜索较大区域，然后根据视觉场景和指令逐步缩小搜索范围。这使得SOON的导航以目标为导向且不依赖于初始位置。DDN[162] 在这些数据集的基础上更进一步，仅提供人类需求而不指定明确对象。智能体需要导航通过场景以找到满足人类需求的对象。
Shridhar等人基于AI2-THOR模拟器提出了ALFRED数据集 [163]。在ALFRED中，具身体体需要根据粗粒度和细粒度指令理解环境观测，并在交互式环境中完成家务任务。OVMM[164] 的核心任务是在任何未见环境中拾取任何对象并将其放置在指定位置。具身体体需要在家庭环境中定位目标对象、导航并抓取，然后导航到目标位置放下对象。OVMM提供了基于Habitat的仿真和真实世界实现的框架。Behavior-1K[165] 基于人类需求调查，在OmniGibson（iGibson的扩展）中设计了1000个长序列、复杂技能依赖的日常任务。具身体体需要根据视觉信息和自然语言指令完成可能包含数千个底层动作步骤的长跨度导航-交互任务。此类复杂任务对具身体体的理解和记忆能力提出了更高要求。
还有一些更特殊的数据集。CVDN[166] 要求具身体体基于对话历史导航到目标，并在不确定时提问以帮助决定下一步动作。DialFRED[167] 是ALFRED的扩展，允许智能体在导航和交互过程中提问以获得帮助。这些数据集均引入了额外的外部知识，具身体体需要通过提问获取更多有益于导航的信息。
2) 方法：VLN近年来取得了长足进步。随着大模型在各个领域的惊人表现，VLN研究的方向和重点受到了深远影响。但总体而言，VLN的研究方法仍可大致分为两个方向：基于记忆理解的方法和基于未来预测的方法。
基于记忆理解的方法侧重于对环境的感知和理解，以及基于历史观测或轨迹的模型设计，这是一种基于过去学习的方法。基于未来预测的方法更关注对未来状态的建模、预测和理解，这是一种面向未来的学习方法。由于VLN可被视为部分可观测马尔可夫决策过程，其中未来观测取决于当前环境和智能体的动作，历史信息对导航决策（尤其是长跨度导航决策）具有重要意义，因此基于记忆理解的方法一直是VLN的主流。然而，基于未来预测的方法仍具有重要意义。其对环境的本质理解在连续环境中的VLN具有重要价值，特别是随着世界模型概念的兴起，基于未来预测的方法正受到越来越多的关注。
基于记忆理解的方法。基于图的学习是基于过去理解和记忆的方法中非常重要的一部分。基于图的学习通常以图的形式表示导航过程，其中具身体体在每个时间步获得的信息被编码为图的节点。具身体体获取全局或局部导航图信息作为历史轨迹的表示。在LVERG [168] 中，作者分别编码每个节点的语言信息和视觉信息，设计了一种新的语言和视觉实体关系图，以建模文本与视觉之间的跨模态关系以及视觉实体之间的模态内关系。LM-Nav [172] 使用目标条件距离函数推断原始观测集之间的连接并构建导航图，通过大语言模型从指令中提取地标，并使用视觉语言模型将其与导航图节点匹配。虽然HOP [173] 并非基于图学习，但其方法类似于图，要求模型对不同粒度的时序信息进行建模，从而实现对历史轨迹和记忆的深度理解。
导航图对环境进行了离散化，但同时理解和编码环境也很重要。FILM [171] 使用RGB-D观测和语义分割，在导航过程中逐步从3D体素构建语义地图。VER [178] 通过2D-3D采样将物理世界量化为结构化的3D单元，提供细粒度的几何细节和语义信息。
不同的学习方案也探索了如何更好地利用历史轨迹和记忆。通过对抗学习，CMG [169] 在模仿学习和探索激励方案之间交替，有效加强了对指令和历史轨迹的理解，缩短了训练与推理之间的差距。GOAT [177] 通过后门调整因果学习（BACL）和前门调整因果学习（FACL）直接训练无偏模型，将视觉、导航历史及其组合与指令进行对比学习，使智能体能够更充分地利用信息。RCM [170] 提出的增强跨模态匹配方法使用目标导向的外部奖励和指令导向的内部奖励，在全局和局部进行跨模态定位，并通过自监督模仿学习从自身历史好的决策中学习。FSTT [175] 将TTA引入视觉语言导航，在时间步和任务两个尺度上对梯度和模型参数进行优化，有效提高了模型性能。
大模型在基于记忆理解方法中的具体应用体现在理解历史记忆的表征，以及基于其广泛的世界知识理解环境和任务。NaviLLM [174] 通过视觉编码器将历史观测序列整合到嵌入空间，将融合编码的多模态信息输入大语言模型并进行微调，在多个基准上达到了最先进水平。NaVid [179] 在历史信息编码方面进行了改进，通过不同程度的池化对历史观测和当前观测实现不同程度的信息保留。DiscussNav [176] 将具有不同能力的大模型专家分配到不同角色，驱动大模型在导航动作前进行讨论以完成导航决策，在零样本视觉语言导航中取得了优异性能。
基于未来预测的方法。基于图的学习也广泛用于基于未来预测的方法。BGBL [182] 和ETPNav [185] 使用类似方法设计了一种航点预测器，可根据当前导航图节点的观测预测连续环境中的可移动路径点。它们旨在将连续环境中的复杂导航迁移到离散环境中的节点到节点导航，从而弥合从离散环境到连续环境的性能差距。
通过环境编码提高对未来环境的理解和感知也是预测和探索未来的研究方向之一。
D. 非视觉感知：触觉
皮肤促进了人类的触觉感知。皮肤在受到触摸时会改变形状，其丰富的神经细胞会发送电信号 [188]。这种触觉感知使人类能够充分掌握手头的工作。因此，触觉对于机器人与现实世界的交互至关重要。触觉使机器人能够获取材料、形状、温度甚至物体的接触力和重力等信息。当前触觉感知的工作集中在三个领域：传感器设计、数据集构建和应用。触觉感知无疑增强了人机交互体验，并具有广阔前景 [189]–[191]。
1) 传感器设计：触觉传感器设计方法可分为三类：非视觉-based、视觉-based 和多模态。早期，触觉传感器主要用于记录基本的低维传感输出，如力、压力、振动和温度 [192]–[197]。其原理大多与电学和物理力学相关，数据通常是具有时序相关性的低维序列。其中著名的代表之一是 BioTac [198] 及其模拟器 [199]。由于计算机视觉表现出色，基于视觉的触觉传感器日益受到关注，其通过光学原理获取触觉信息。利用凝胶变形图像作为触觉信息，GelSight [200]、Gelslim [201]、DIGIT [202]、9DTact [203]、TacTip [204]、GelTip [205] 和 AllSight [206] 等基于视觉的触觉传感器已被用于众多应用。同时，TACTO [207] 和 Taxim [208] 等触觉传感器仿真（结合了弹性体变形和光学仿真）也被广泛使用。近期工作聚焦于低成本 [203] 以及安装在机械手上的适用性 [202], [209], [210]。最近，多模态触觉传感器也在涌现。受人类皮肤触觉机制启发，多模态触觉皮肤（包含压力、接近、加速度和温度检测器等多类信息）的工作取得了进展。解决方案通常涉及柔性材料和模块化设计等技术。
2) 数据集：非视觉传感器的数据集包含电极值、3D净力向量和接触位置。因此，数据集中的对象通常是力样本和抓取样本。其任务主要是力类型估计、力值和抓取细节的估计。数据集主要通过 BioTac 系列 [198] 收集。对于基于视觉的传感器，凭借其高分辨率的变形凝胶图像，除了估计力信息和滑动外，它们更侧重于纹理分类和3D重建。数据集中的对象通常是家用物品、野外环境、不同材料和抓取物品。同时，由于图像信息可以轻松地与其他模态（图像、语言、音频等）对齐和绑定 [15], [211]，具身体体中的触觉感知主要围绕基于视觉的传感器展开。数据集围绕 Geisight 传感器、DIGIT 传感器及其模拟器 [200], [202], [203], [207] 构建。我们介绍了十个常用的触觉数据集，总结在表VIII中。
3) 方法：触觉感知有许多应用。从传感器获取的信息使机器人能够执行精确的机器人操作任务、完成多模态工作，甚至增强其在3D重建和定位方面的能力。
1. 机器人操作。在这些任务中，弥合仿真到现实的差距至关重要。强化学习和基于GAN的方法已被提出，以应对精确、及时的机器人操作任务中的变化。
强化学习方法。Visuotactile-RL [220] 提出了几种对现有RL方法的改进，包括触觉门控、触觉数据增强和视觉退化。Rotateit [221] 是一个通过利用多模态感官输入实现基于指尖的多轴物体旋转的系统。它利用特权信息通过强化学习策略训练网络，并支持在线推理。[222] 提出了一种仅使用触觉感知进行物体推放的深度RL方法。它提出了一种目标条件公式化，允许无模型和基于模型的RL获得将物体推向目标的精确策略。AnyRotate [223] 专注于手内操作。它是一个利用密集特征仿真到现实触觉进行重力不变多轴手内物体旋转的系统，构建了连续接触特征表示为仿真中的策略训练提供触觉反馈，并引入了一种通过训练观测模型来弥合仿真到现实差距以实现零样本策略迁移的方法。
基于GAN的方法。ACTNet [224] 提出了一种无监督对抗域适应方法，以缩小像素级触觉感知任务的领域差距。引入了一种自适应相关注意力机制来改进生成器，该机制能够利用全局信息并关注显著区域。然而，像素级域适应会导致误差累积、性能下降，并增加结构复杂性和训练成本。相比之下，STR-Net [225] 提出了一种针对触觉图像的特征级无监督框架，缩小了特征级触觉感知任务的领域差距。
此外，一些方法关注仿真到现实的迁移。例如，Tactile Gym 2.0 [226]。然而，由于其复杂性和高成本，实际应用仍具挑战性。
2. 分类与识别。触觉表示学习侧重于材料分类工作和多模态理解。方法可分为两类：传统方法和LLM与VLM方法。
传统方法。多种传统方法已被用于增强触觉表示学习。自编码器框架在开发紧凑触觉数据表示方面发挥了重要作用。Polic等人 [227] 使用卷积神经网络自编码器对基于光学的触觉传感器图像进行降维。Gao等人 [228] 创建了监督循环自编码器以处理异构传感器数据集，而Cao等人 [229] 创建了TacMAE，使用掩码自编码器处理不完整触觉数据。Zhang等人 [230] 介绍了MAE4GM，一种集成视觉-触觉数据的多模态自编码器。由于触觉作为其他模态的补充，联合训练方法被用于融合多种模态。Yuan等人 [231] 使用包含深度、视觉和触觉数据的模态训练CNN。类似地，Lee等人 [232] 使用变分贝叶斯方法处理力传感器序列和末端执行器指标等模态。为获得更好的表示学习，对比学习等自监督方法也是绑定模态的关键技术。不同研究在对比方法上有所差异。Lin等人 [233] 简单地将触觉输入与多个视觉输入配对，Yang等人 [234] 采用视觉-触觉对比多视图特征。Kerr等人 [216] 使用受CLIP启发的InfoNCE损失，Guzey等人 [235] 使用BYOL。这些传统方法为触觉表示学习奠定了坚实基础。
LLM与VLM方法。大语言模型（LLM）和视觉-语言模型（VLM）近期展现出对跨模态交互的惊人理解能力和强大的零样本性能。Yang等人 [190]、Fu等人 [219] 和Yu等人 [236] 的近期工作通过对比预训练方法将触觉数据与视觉和语言模态进行编码和对齐。然后应用LLaMA等大语言模型，使用微调方法以适应触觉描述等任务。LLM和VLM技术的出现进一步推动了该领域的发展，实现了更全面和鲁棒的跨模态触觉表示。
3. 3D重建。Suresh等人 [237] 从触觉图像序列和带噪声的深度图中逐步重建3D家居物体的局部形状，将3D形状表示为从高斯过程采样的符号距离函数，并将其重新表述为空间图上的概率推理，为局部形状重建提供了一种鲁棒方法。Smith等人 [238] 提出了一种有效的基于图表的方法。它以抓取参数、一组触觉读数和物体的RGB图像为输入，将其编码为图表，使用神经网络重建3D形状估计。然后，通过滑动传感器 [239] 将其更新到主动触觉学习模型中。Comi等人 [240] 仅基于触觉输入使用深度学习进行3D形状重建。他们使用CNN将触觉图像映射到局部网格，并使用基于DeepSDF的模型预测完整的3D形状。
4) 困难：1) 不同原理传感器的缺点：传统传感器提供简单、有限和低维数据，给多模态学习带来挑战。同时，基于视觉的传感器和电子皮肤虽然提供高精度，但成本高昂。基于视觉的传感器无法提供温度信息。2) 数据采集困难：触觉数据集稀少且异构，缺乏像视觉领域那样的标准化、大规模存储库。此外，数据收集困难。将触觉和视觉信息一起收集很难，尽管在简化采集设备方面已做出一些努力。3) 标准不一致的困难：市场上存在多种传感器，标准和原理不一致。即使具有相似的成像模式，基于视觉的触觉传感器的设计和校准仍导致显著的领域差距。与视觉和音频数据的标准化格式不同，触觉数据格式在传感器制造商之间差异很大，这使得对来自异构传感器的数据进行大规模学习变得困难，限制了公开可用触觉数据集的实用性。
V. 具身交互
具身交互任务指智能体在物理或模拟空间中与人类和环境进行交互的场景。典型的具身交互任务包括具身问答（EQA）和具身抓取。
A. 具身问答
对于具身问答（EQA）任务，智能体需要从第一人称视角探索环境，以收集回答给定问题所需的信息。具有自主探索和决策能力的智能体不仅要考虑采取哪些行动来探索环境，还要确定何时停止探索以回答问题。现有工作聚焦于不同类型的问题，其中一些如图11所示。在本节中，我们首先介绍现有数据集，然后讨论相关方法。
1) 数据集：在真实环境中进行机器人实验通常受限于场景和机器人硬件。作为虚拟实验平台，模拟器为构建具身问答数据集提供了合适的环境条件。在模拟器创建的数据集上训练和测试模型可显著降低实验成本，并提高模型在真实机器上部署的成功率。我们简要介绍九个具身问答数据集，总结在表IX中。
EQA v1[241] 是首个为具身问答设计的数据集。基于House3D [250] 模拟器中SUNCG数据集 [99] 的合成3D室内场景构建，EQA v1包含四类问题：位置、颜色、颜色房间和介词。它在超过750个环境中分布了超过5,000个问题。问题通过函数式程序执行构建，使用模板选择和组合基本操作。
与EQA v1类似，MT-EQA[242] 在House3D中使用SUNCG通过执行由一些基本操作组成的函数式程序构建。然而，它进一步将单对象问答任务扩展到多对象设置。设计了六类问题，涉及多个对象之间的颜色、距离和大小比较。数据集包含588个环境中的19,287个问题。
MP3D-EQA[243] 基于使用Matterport3D数据集 [252] 在MINOS [251] 上开发的模拟器构建，将问答任务扩展到逼真的3D环境。参照EQA v1，MP3D-EQA使用三类模板：位置、颜色和颜色房间，在83个家庭环境中生成了总计1,136个问题。
IQUAD V1[244] 基于AI2-THOR构建，包含三类问题：存在性、计数和空间关系。它使用一组先验编写的模板生成了超过75,000个多项选择题，每个问题都配有独特的场景配置。与其他数据集不同，回答IQUAD V1问题要求智能体良好理解可供性并与动态环境交互。
VideoNavQA[245] 将视觉推理与EQA问题的导航方面解耦。在此任务中，智能体可访问与探索轨迹对应的视频，其中包含足够信息来回答问题。仍参照EQA v1，VideoNavQA根据函数式模板样式表示生成问题。它还渲染最短轨迹以模拟接近最优的导航路径，创建与智能体探索环境时所看到内容对应的视频。VideoNavQA在House3D环境中使用SUNCG生成了约101,000对视频和问题，涵盖属于8个类别（如存在性、计数和定位）的28类问题。
与先前数据集中明确指定问题中目标对象不同，K-EQA[246] 的特征是带有逻辑子句和知识相关短语的复杂问题，需要先验知识才能回答。它基于AI2Thor构建，包含四类问题：存在性、计数、枚举和比较。每个实体被映射到知识库，并进一步构建知识图谱。在此工作中，IQA和MT-EQA中提供的模板被扩展为一组语法。在指定对象和逻辑关系后，引入知识图谱、场景图谱等以生成问题并计算真实答案。生成的K-EQA数据集包含6000种不同环境设置中的60,000个问题。
OpenEQA[247] 是首个开放词汇EQA数据集，支持情景记忆和主动探索两种情形。情景记忆EQA（EM-EQA）任务涉及智能体从情景记忆中理解环境以回答问题，类似于VideoNavQA。在主动EQA（A-EQA）任务中，智能体通过采取探索性行动收集必要信息来回答问题。使用ScanNet [253] 和HM3D [254]，人工标注者在Habitat中从180多个真实世界环境中构建了超过1,600个高质量问题。
利用GPT4-V，HM-EQA[248] 在Habitat模拟器中使用Habitat-Matterport 3D数据集构建。它包括267个不同场景中的500个问题，大致可分为识别、计数、存在性、状态和位置。为保持一致性，数据集中的每个问题都有四个选项。
S-EQA[249] 在VirtualHome中利用GPT-4进行数据生成，并采用余弦相似度计算来决定是否保留生成的数据，从而增强数据集多样性。在S-EQA中，回答问题需要评估一组共识对象和状态，以得出存在性的“是/否”答案。
2) 方法：具身问答任务主要涉及导航和问答子任务，实现方法大致分为两类：基于神经网络的方法和基于LLM/VLM的方法。
基于神经网络的方法。早期工作中，研究人员主要通过构建深度神经网络来解决具身问答任务。他们使用模仿学习和强化学习等技术训练和微调这些模型以提高性能。
EQA任务由Das等人 [241] 首次提出。在他们的工作中，智能体由四个主要模块组成：视觉、语言、导航和回答。这些模块主要使用传统神经网络构建块——卷积神经网络（CNN）和循环神经网络（RNN）构建。这些模块分两个阶段进行训练。最初，导航和响应模块在自动生成的专家导航演示上通过模仿或监督学习独立训练。随后，在第二阶段，使用策略梯度对导航架构进行微调。一些后续工作 [255], [256] 保留了Das等人 [241] 提出的问答模块等模块并对模型进行了改进。此外，Wu等人 [256] 提出将导航和QA模块集成到统一的SGD训练流程中进行联合训练，从而避免使用深度强化学习同时训练分别训练的导航和问答模块。
还有一些工作试图增加问答任务的复杂性和完整性。从任务单一性的角度，一些工作 [242], [257] 分别将任务扩展到多目标和多智能体，使模型需要通过特征提取和场景重建等方法存储和整合智能体探索获得的信息。考虑到智能体与动态环境的交互，Gordon等人 [244] 引入了分层交互记忆网络。控制权在负责任务选择的规划器和负责任务执行的底层控制器之间交替。在此过程中，利用以自我为中心的空间GRU（esGRU）存储空间记忆，使智能体能够导航并提供答案。先前工作还存在一个局限性，即智能体无法使用外部知识回答复杂问题，且缺乏对已探索场景部分的知识。为解决此问题，Tan等人 [246] 提出了一种利用神经程序综合方法和从知识及3D场景图谱转换的表格的框架，允许动作规划器访问与对象相关的信息。此外，使用基于蒙特卡洛树搜索（MCTS）的方法来确定智能体下一步移动的位置。
基于LLM/VLM的方法。近年来，大语言模型（LLM）和视觉语言模型（VLM）不断进步，并在各个领域展现出卓越能力。因此，研究人员尝试应用这些模型来解决具身问答任务，而无需任何额外微调。
Majumdar等人 [247] 探索使用LLM和VLM进行情景记忆EQA（EM-EQA）任务和主动EQA（A-EQA）任务。对于EM-EQA任务，他们考虑了盲LLM、使用情景记忆语言描述的苏格拉底式LLM、使用构建的场景图谱描述的苏格拉底式LLM，以及处理多个场景帧的VLM。A-EQA任务通过基于前沿的探索（FBE）[258] 扩展了EM-EQA方法，用于问题无关的环境探索。其他一些工作 [248], [259] 也采用基于前沿的探索方法来识别后续探索区域并构建语义地图。他们利用一致性预测或图像-文本匹配提前结束探索以避免过度探索。Patel等人 [260] 强调任务的问答方面。他们利用多个基于LLM的智能体探索环境，并使其能够独立回答“是/否”答案的问题。这些个体响应被用于训练中心答案模型，负责聚合响应并生成鲁棒的答案。
3) 指标：研究人员主要根据两个关键方面评估模型性能：导航和问答。在导航方面，许多研究人员遵循Das等人 [241] 引入的方法，并利用完成导航时到目标对象的距离（dT）、从初始到最终位置到目标距离的变化（d∆）以及回合中任何点到目标的最小距离（dmin）等指标来评估模型性能。它们在距离目标10、30或50个动作时进行测试。也有一些工作基于轨迹长度、目标对象的交并比分数（IoU）等指标进行衡量。关于问答，评估主要涉及真实答案在答案列表中的平均排名（MR）和答案准确率。最近，Majumdar等人 [247] 引入了基于LLM的聚合正确性指标（LLM-Match）的概念，以评估开放词汇答案的准确性。此外，他们通过将智能体路径的归一化长度作为正确性指标的权重来评估效率。
4) 局限性：1) 数据集：构建数据集需要大量人力和资源。此外，大规模数据集仍然很少，且不同数据集评估模型性能的指标各异，使性能测试和比较变得复杂。2) 模型：尽管LLM带来了进步，但这些模型的性能仍远落后于人类水平。未来工作可能更关注有效存储智能体探索的环境信息，并引导智能体根据环境记忆和问题规划行动，同时增强其行动的可解释性。
B. 具身抓取
具身交互除了与人类进行问答交互外，还可以涉及根据人类指令执行操作，例如抓取和放置物体，从而完成机器人、人类和物体之间的交互。具身抓取需要全面的语义理解、场景感知、决策和鲁棒的控制规划。具身抓取方法将传统机器人运动学抓取与大语言模型（LLM）[261] 和视觉语言基础模型 [15] 等大模型相结合，使智能体能够在多感官感知下执行抓取任务，包括视觉主动感知、语言理解和推理。图12（b）展示了人-智能体-物体交互的概述，其中智能体完成具身抓取任务。
1) 夹持器：当前抓取技术的研究重点在于二指平行夹持器和五指灵巧手。对于二指平行夹持器，抓取姿态通常分为两类：4-DOF和6-DOF [262]。4-DOF抓取合成 [263]–[265] 使用三维位置和自上而下的手部朝向（偏航角）来定义抓取，通常称为“自上而下抓取”。相比之下，6-DOF抓取合成 [266]–[268] 通过六维位置和朝向定义抓取姿态。对于五指灵巧手夹持器，ShadowHand是一种广泛使用的五指机器人灵巧手，具有26个自由度（DOF）。这种高维度显著增加了生成有效抓取姿态和规划执行轨迹的复杂性。
2) 数据集：近年来，已生成了大量的抓取数据集 [264], [265], [268]–[270]。这些数据集通常包含基于图像（RGB、深度）、点云或3D场景的带标注抓取数据。随着多模态大模型的出现以及基础语言模型在机器人抓取中的应用，对包含语言文本的数据集的需求日益迫切。因此，现有数据集已被扩展或重构以创建语义抓取数据集 [271]–[274]。这些数据集有助于研究基于语言的抓取模型，使智能体能够发展广泛的语义理解。
传统抓取数据集包含单个对象 [265] 和杂乱场景 [263] 的数据，为每个对象提供符合运动学的稳定抓取标注（4-DOF或6-DOF）。这些数据可从真实桌面环境 [265] 收集，通常包括RGB、深度和点云数据，或从虚拟环境 [268] 收集，包括图像数据、点云或场景模型。虽然这些数据集对抓取模型有用，但它们缺乏语义信息。为弥合这一差距，这些数据集已通过语义表达 [271], [275] 进行增强或扩展，从而将语言、视觉和抓取联系起来。通过引入语义信息，智能体可以更好地理解和执行抓取任务。这种增强使得开发更复杂和具有语义感知能力的抓取模型成为可能，促进了更直观和有效的环境交互。表X展示了上述数据集，包括传统抓取数据集和基于语言的抓取数据集。
3) 语言引导的抓取：语言引导抓取的概念 [271], [272], [275] 从这种融合中演变而来，结合MLM为智能体提供了语义场景推理能力。这使得智能体能够基于隐式或显式的人类指令执行抓取操作。图12（c）展示了近年来语言引导抓取主题的发表趋势。随着LLM的进步，研究人员对该主题的兴趣日益增加。当前，抓取研究越来越聚焦于开放世界场景，强调开放集泛化 [276] 方法。通过利用MLM的泛化能力，机器人可以在开放世界环境中更智能、更高效地执行抓取任务。
在语言引导的抓取中，语义可以来自显式指令 [276], [277] 和隐式指令 [272], [274]。显式指令明确指定要抓取对象的类别，如香蕉或苹果。隐式指令则需要推理以识别要抓取的对象或对象的一部分，涉及空间推理和逻辑推理。
空间推理 [271] 指指令可能包含要抓取对象或部分的空间关系，需要根据场景中对象的空间关系推断抓取姿态。例如，“抓住棕色面巾纸盒右侧的键盘”涉及理解和推断对象的空间排列。
逻辑推理 [272] 则指指令可能包含逻辑关系，需要推理以辨别人类意图，随后抓取目标。例如，“我渴了，你能给我点喝的吗？”会提示智能体可能递过一杯水或一瓶饮料。智能体必须确保在递送过程中液体不会洒出，从而生成合理的抓取姿态。
在这两种情况下，语义理解的集成带来了规模扩展和正向迁移。这代表了机器人基础模型的重大进步。RT-2引入了视觉-语言-动作（VLA）模型，具备“思维链”推理能力，可实现多步语义推理，例如在不同情境下选择替代工具或饮料。最终，RT-H [4] 实现了具有动作层次结构的端到端机器人Transformer，以在细粒度层面进行任务规划推理。
为解决具身模型的泛化局限性，Google与33家顶尖学术机构合作创建了全面的Open X-Embodiment数据集 [284]，整合了22种不同类型的数据。利用该数据集，他们训练了通用大模型RT-X。多样化、跨实体的训练数据使RT-1和RT-2实现了更优性能，与在特定领域数据上训练的模型相比，展现出更好的泛化能力和新功能。这也促进了更多开源VLM参与机器人领域，如基于LLaVA的EmbodiedGPT [285] 和基于Flamingo的RoboFlamingo [286]。尽管Open X-Embodiment提供了大量数据集，但鉴于具身机器人平台的快速发展，构建数据集仍然是一个挑战。为解决此问题，AutoRT [287] 创建了一个系统，用于在新环境中部署机器人以收集训练数据，利用LLM通过更全面和多样化的数据来增强学习能力。
此外，基于Transformer的架构面临效率问题，尤其是具身模型需要包含来自视觉、语言和具身状态信息以及当前执行任务相关记忆的长上下文。例如，RT-2尽管性能强大，但其推理频率仅为1-3Hz。目前正在做出一些努力来改善这一点，例如通过量化和蒸馏在边缘部署模型，以及使用专家混合（MoE）架构在推理时仅使用部分参数，从而实现比具有相同参数数量的稠密模型更快的推理速度。此外，SARA-RT [288] 采用了一种称为“上调训练”的新型模型微调方法，将二次计算复杂度转化为简单的线性复杂度，显著提高了模型效率。这使得RT更快、更精简，并具有大规模采用RT技术的潜力。除RT外，Mamba架构被用于需要更长序列的任务。RoboMamba [289] 采用了一种称为Policy Head的高效微调策略，以最少的微调参数（模型的0.1%）和时间（20分钟）掌握了各种操作技能。此外，其推理速度比现有机器人MLM快七倍。
由于RT基于生成式模型，它在理解抽象任务和高级任务规划方面展现出显著优势，但在低层动作规划方面存在不足。一个问题在于生成式模型无法精确生成控制动作参数，另一个问题在于高级任务规划与低层动作规划之间的差距，使智能体无法有效重新规划。为解决此问题，Google提出了RT-Trajectory [290]，它可以自动添加机器人轨迹，为模型学习机器人控制策略提供低层、实用的视觉线索，并帮助机器人更好地泛化。这些技术使机器人能够更快地做出决策、更好地理解环境，并更有效地引导自身完成任务。此外，在RT-2框架的基础上，具有动作层次结构的机器人Transformer（RT-H）引入了一个层次化动作框架，通过中间语言动作将高层任务描述与低层机器人运动联系起来 [4]。这一创新改善了跨任务数据共享，并将任务性能提高了15%。RT-H在动态环境中也表现出更高的适应性和泛化能力，在复杂的多任务场景中表现出色。此外，VLA模型的新兴能力目前仅限于与VLM相关的高层规划和可供性任务。它们无法在低层物理交互中展现新技能，并受限于数据集中的技能类别。物理动作通常表现出笨拙，例如抓取不稳定或放置不准确。
未来的努力应旨在将强化学习纳入大模型的训练框架以增强泛化能力。这将使VLA模型能够在真实世界环境中自主学习和优化低层物理交互策略，从而实现更灵巧和精确的各种物理动作执行。
B. 具身任务规划
如前所述，对于任务“将苹果放在盘子上”，任务规划器会将其分解为子任务“找到苹果，拿起苹果”、“找到盘子”、“放下苹果”。至于如何找到（导航任务）或拿起/放下动作（抓取任务）不属于任务规划的范畴。这些动作通常在模拟器中预定义，或在现实场景中使用预训练的策略模型执行，例如使用CLIPort [275] 进行抓取任务。
传统的具身任务规划方法通常基于显式规则和逻辑推理。例如，使用STRIPS [291] 和PDDL [292] 等符号规划算法，以及MCTS [293] 和A* [294] 等搜索算法来生成计划。然而，这些方法通常依赖于预定义的规则、约束和启发式，这些规则是刚性的，可能无法很好地适应环境的动态或不可预见的变化。随着在大规模数据上训练的LLM的普及，许多研究人员最近尝试使用LLM进行规划或将传统方法与LLM相结合，利用其中嵌入的丰富世界知识进行推理和规划，无需手工定义，极大地增强了模型的泛化能力。
1) 利用LLM涌现能力进行规划：在自然语言模型规模化之前，任务规划器同样通过在Alfred [295] 和Alfworld [296] 等具身指令数据集上训练BERT等模型来实现，如FILM [297] 所示。然而，这种方法受限于训练集中的示例，无法有效地与物理世界对齐。如今，得益于大语言模型（LLM）的涌现能力，LLM可以利用其内部世界知识和思维链推理来分解抽象任务，类似于人类在行动前通过任务完成步骤进行推理。例如，Translated LM [298] 和Inner Monologue [299] 可以在无需额外训练的情况下，利用其内部逻辑和知识系统将复杂任务分解为可管理的步骤并设计解决方案。
为提高这些解决方案的成功率，一些方法提供更多参考示例作为上下文，例如在提示中预先包含一个成功计划 [300]。这些示例的语义相关性也会影响任务规划精度 [301]。因此，开发了LLM-Planner等方法，使用KNN检索最合适的示例作为上下文，以找到任务类型相似且语义相关的示例 [302]。此外，一些方法将过去的成功示例抽象为一系列技能存储在记忆库中，以便在推理时考虑并提高规划成功率 [303]–[305]。有趣的是，改进思维链（CoT）推理 [306] 也是一种可行的方法。ReAct [307] 将CoT推理与计划生成相结合，提供了更具逻辑性的动作生成。一些工作利用代码而非自然语言作为推理媒介。代码链方法特别适用于具身体体进行推理和执行任务，其中任务规划根据可用的API库生成为代码 [308]–[310]。此外，多轮推理可以有效纠正任务规划中潜在的幻觉，这是许多基于LLM的智能体研究的重点。例如，苏格拉底模型 [311] 和苏格拉底规划器 [312] 使用苏格拉底式提问来推导出可靠的规划。
然而，如果将LLM视为计划生成器，由于LLM的计划生成基于令牌概率分布而非逻辑推理，它无法确保生成的计划在逻辑上是正确的。因此，一些工作将LLM视为世界模型而非计划生成器，使用MCTS [293] 进行计划序列搜索 [313]–[315]。另一条工作路线将LLM视为指令翻译器，利用其强大的语义理解能力将计划翻译成规划专用语言（如PDDL），然后利用传统AI规划器进行规划 [316]–[319]。
在任务规划过程中，必须考虑执行过程中可能发生的潜在失败。这些失败通常源于规划器未能充分考虑真实环境的复杂性和任务执行的难度 [299], [302]。多智能体协作框架ReAd [320] 被提出用于计划的高效自我精炼。由于缺乏视觉信息，规划的子任务可能偏离实际场景，导致任务失败。因此，有必要将视觉信息整合到规划中或在执行过程中重新规划。这种方法可以显著提高任务规划的准确性和可行性，更好地应对真实环境的挑战。
2) 利用具身感知模型的视觉信息进行规划：基于上述讨论，进一步将视觉信息整合到任务规划（或重规划）中尤为重要。在此过程中，视觉输入提供的对象标签、位置或描述可以为大语言模型（LLM）的任务分解和执行提供关键参考。例如，通过视觉信息，LLM可以更准确地识别当前环境中的目标对象和障碍物，从而优化任务步骤或修改子任务目标。一些工作使用对象检测器在任务执行过程中查询环境中存在的对象，并将此信息反馈给LLM，使其能够修改当前计划中不合理的步骤 [302], [311], [321]。RoboGPT考虑同一任务中相似对象的不同名称，进一步提高了重规划的可行性 [322]。然而，标签提供的信息仍然过于有限。能否提供进一步的场景信息？SayPlan [323] 提出使用分层3D场景图来表示环境，有效缓解了在大型、多层、多房间环境中任务规划的挑战。类似地，ConceptGraphs [324] 也采用3D场景图为LLM提供环境信息。与SayPlan相比，它提供了更详细的开放世界对象检测，并以基于代码的格式呈现任务规划，更高效且更适合复杂任务的需求。然而，有限的视觉信息可能导致智能体对环境理解不足。尽管视觉输入可以提供重要的环境线索，但其局限性在于无法完全捕捉环境的复杂性和动态变化。如果没有全面的视觉信息，智能体可能误解环境条件，导致任务失败。例如，如果毛巾被锁在浴室的柜子里，智能体可能会反复搜索浴室而没有意识到这种可能性 [322]。因此，有必要开发更鲁棒的算法，集成多感官数据以弥补视觉信息的不足。通过结合视觉、触觉和听觉等多模态感知技术，可以增强智能体对环境的理解。此外，利用历史数据和上下文推理可以帮助智能体在视觉信息有限的情况下做出合理的判断和决策。这种结合多模态融合和上下文推理的规划方法不仅提高了任务执行的成功率，也为具身AI的进一步发展提供了新的视角。
3) 利用VLM进行规划：与使用外部视觉模型将环境信息转换为文本相比，VLM模型可以在潜空间中捕获视觉细节，特别是难以用对象标签表示的上下文信息，正如Lecun关于世界模型的见解。VLM可以辨别视觉现象背后的规则；例如，即使环境中看不到毛巾，也可以推断毛巾可能存放在柜子里。这个过程本质上展示了抽象视觉特征和结构化文本特征如何在潜空间中更有效地对齐。
在EmbodiedGPT框架中，Embodied-Former模块对齐了具身、视觉和文本信息，在任务规划期间有效考虑了智能体的状态和环境信息 [325]。类似地，EIFUnknow模型利用从体素特征中提取的语义特征图作为视觉令牌，与文本令牌一起输入到训练好的LLaVA模型中进行任务规划 [326]。此外，具身多模态基础模型，或VLA模型，已在RT系列 [12], [283] 和PaLM-E [282] 等研究中用大型数据集进行了广泛训练，以实现具身场景中视觉和文本特征的对齐。此外，Matcha [327] 等创新研究探索将大语言模型（LLM）与多模态感知模块（如重量、触觉、声音）集成，以增强机器人规划能力。例如，在执行“拿起塑料块”任务时，机器人可以通过提起它来评估其重量，确定敲击时发出的声音是否与预期的塑料声音匹配，或使用触觉反馈来感知块的硬度或软度。此外，VLP [328] 模型通过考虑历史信息和预测未来视觉状态来增强规划。一旦LLM生成一个动作，视频模型可以为每个动作模拟多个潜在的视频表示。然后这些视频模型作为启发式函数，评估每个动作接近目标的程度，从而提高规划效果。
然而，任务规划只是智能体完成指令任务的第一步；后续的动作规划决定了任务能否完成。在RoboGPT [322] 的实验中，任务规划精度达到96%，但整体任务完成率仅为60%，受限于低层规划器的性能。因此，具身体体能否从“想象任务如何完成”的数字空间过渡到“与环境交互并完成任务”的物理世界，关键在于有效的动作规划。
C. 具身动作规划
第VI-B节讨论了任务规划和动作规划的定义和区别。显然，动作规划必须应对现实世界的不确定性，因为任务规划提供的子任务粒度不足以指导智能体进行高效的环境交互。通常，智能体可以通过两种方式进行动作规划：第一，使用预训练的具身感知模型和具身干预模型作为工具，通过API逐步完成任务规划指定的子任务；第二，利用VLA模型的内在能力来推导动作规划。此外，动作规划器的执行结果会反馈给任务规划器，以调整和改进任务规划。
1) 利用API进行动作：一种典型的方法是为LLM提供各种训练良好的策略模型的定义和描述作为上下文，使其能够理解这些工具并确定如何以及何时为特定任务调用它们 [280], [302]。此外，通过生成代码，可以将一系列更细粒度的工具抽象为函数库以供调用，而非直接将子任务所需的参数传递给导航和抓取模型 [310]。鉴于环境的不确定性，Reflexion可以在执行过程中进一步调整这些工具以实现更好的泛化 [329]。优化这些工具可以增强智能体的鲁棒性，并且可能需要新工具来完成未知任务。DEPS在零样本学习的前提下，赋予LLM各种角色设置，使其在与环境交互的同时学习多样化技能。在后续交互中，LLM可以学习选择和组合这些技能以发展新技能 [330]。
这种分层规划范式使智能体能够更专注于高层任务规划和决策，同时将具体动作执行委托给策略模型，简化了智能体的开发过程。此外，任务规划器和动作规划器的这种模块化使得独立开发、测试和优化成为可能，从而增强了系统的灵活性和可维护性。这种方法允许智能体通过调用不同的动作规划器来适应各种任务和环境，并促进对动作规划器的修改而无需对智能体结构进行重大更改。然而，调用外部策略模型可能引入延迟，特别是在实时任务中，可能影响系统响应速度和效率。最关键的问题在于智能体的性能高度依赖于策略模型的质量。如果策略模型无法有效解决任务，智能体的整体性能将受到影响。
2) 利用VLA模型进行动作：这种范式利用具身多模态基础模型的能力进行规划和执行动作，与之前的方法不同，任务规划和动作执行在同一系统内完成，减少了通信延迟，提高了系统响应速度和效率。在VLA模型中，感知、决策和执行模块的紧密集成使系统能够更有效地处理复杂任务并适应动态环境的变化。这种集成还有利于实时反馈，使智能体能够自我调整策略，从而增强任务执行的鲁棒性和适应性 [3], [285], [331]。然而，这种范式无疑更加复杂和昂贵，特别是在处理复杂或长期任务时。此外，一个关键问题是，没有具身世界模型的动作规划器无法仅利用LLM的内部知识来模拟物理规律。这种局限性阻碍了智能体在物理世界中准确有效地完成各种任务，阻碍了从数字空间到物理世界的无缝迁移。
VII. 仿真到现实的适应
具身AI中的仿真到现实（Sim-to-Real）适应是指将仿真环境（数字空间）中习得的能力或行为迁移到现实场景（物理世界）的过程。它涉及验证和改进在仿真中开发的算法、模型和控制策略的有效性，以确保它们在物理环境中鲁棒且可靠地执行。为实现仿真到现实的适应，具身世界模型、数据收集与训练方法以及具身控制算法是三个基本组成部分。
A. 具身世界模型
仿真到现实涉及在仿真中创建与现实世界环境非常相似的世界模型，帮助算法在迁移时更好地泛化。世界模型方法旨在构建一个端到端的模型，以生成或预测的方式预测下一个状态，从而将视觉映射到动作，甚至实现“任何到任何”的映射，以做出决策。这类世界模型与VLA模型的最大区别在于，VLA模型首先在大规模互联网数据集上训练以获得高层涌现能力，然后与真实世界机器人数据共同微调。相比之下，世界模型是从头开始在物理世界数据上训练的，随着数据量的增加逐渐发展出高层能力。然而，它们仍然是低层的物理世界模型，在某种程度上类似于人类神经反射系统的机制。这使得它们更适合输入和输出都相对结构化的场景，如自动驾驶（输入：视觉，输出：油门、刹车、方向盘）或物体分拣（输入：视觉、指令、数值传感器，输出：抓取目标物体并放置在目标位置）。它们不太适合泛化到非结构化的复杂具身任务。
学习世界模型在物理仿真领域前景广阔。与传统仿真方法相比，它提供了显著优势，例如能够在信息不完整的情况下推理交互、满足实时计算需求，并随着时间推移提高预测精度。这类世界模型的预测能力至关重要，使机器人能够发展出在人类世界中运行所需的物理直觉。如图14所示，根据世界环境的学习流程，它们可分为基于生成的方法、基于预测的方法和知识驱动的方法。我们在表XI中简要总结了提到的方法。
1) 基于生成的方法：随着模型和数据规模的逐步增加，生成式模型已展现出理解和生成符合物理规律的图像（如World Models [332]）、视频（如Sora [18]、Pandora [333]）、点云（如3D-VLA [334]）或其他格式数据（如DWM [335]）的能力。这种能力表明生成式模型可以学习并内化世界知识。具体来说，在接触大量数据后，生成式模型不仅能捕捉数据的统计特性，还能通过其内在结构和机制模拟真实世界的物理和因果关系。因此，这些生成式模型可以被视为不仅仅是简单的模式识别工具：它们表现出了世界模型的特征。因此，生成式模型中嵌入的世界知识可用于增强其他模型的性能。通过挖掘和利用生成式模型中表示的世界知识，我们可以提高模型的泛化能力和鲁棒性。这种方法不仅增强了模型对新环境的适应性，还提高了其对未知数据的预测准确性 [333], [334]。然而，生成式模型也有一定的局限性和缺点。例如，当数据分布存在显著偏差或训练数据不足时，生成式模型可能产生不准确或失真的输出。此外，这些模型的训练过程通常需要大量计算资源和时间，且模型往往缺乏可解释性，这使其实际应用复杂化。总体而言，虽然生成式模型在理解和生成符合物理规律的内容方面显示出巨大潜力，但在其有效应用之前仍需解决若干技术和实践挑战。这些挑战包括提高模型效率、增强可解释性以及解决数据偏差相关问题。随着持续的研究和开发，生成式模型有望在未来应用中展现出更大的价值和潜力。
2) 基于预测的方法：基于预测的世界模型通过构建和利用内部表示来预测和理解环境。通过基于提供的条件在潜空间中重建相应特征，它捕获更深层的语义和相关的世界知识。该模型将输入信息映射到潜空间，并在该空间内操作以提取和利用高层语义信息，从而使机器人能够感知世界环境的本质表示（如I-JEPA [17]、MC-JEPA [336]、A-JEPA [337]、Point-JEPA [346]、IWM [338]），并更准确地执行具身下游任务（如iVideoGPT [339]、STP [340]、MuDreamer [341]）。与像素级信息相比，潜空间中的特征可以抽象和解耦各种形式的知识，使模型能够更有效地处理复杂任务和场景，并提高其泛化能力 [347]。例如，在时空建模中，世界模型需要根据对象的当前状态和交互性质预测交互后的状态，并将此信息与其内部知识相结合。具体而言，具身世界模型通过整合感知信息和先验知识来生成环境的动态预测。这种方法不仅依赖于感官数据，还依赖于内在的世界知识来推断和预测环境变化，从而产生更准确的时空预测 [339]–[341]。此过程既考虑对象的当前状态，也考虑其历史数据和上下文信息。
类似地，利用其表示中嵌入的世界知识可以进一步增强模型的感知和鲁棒性 [17], [336], [338], [348]。通过在潜空间中操作，有望使机器人能够以更低的成本在不同环境中保持高性能 [341]。这种方法的关键在于抽象处理和知识解耦，从而能够高效适应复杂情况。然而，这类模型在处理以前未见过的环境和条件时可能表现出局限性和不稳定性。此外，在潜空间中解耦的世界知识可能存在可解释性问题。
3) 知识驱动的方法：知识驱动的世界模型将人工构建的知识注入模型中，使其具备世界知识。这种方法在具身AI领域显示出广泛的应用潜力。例如，在real2sim2real方法 [349] 中，利用现实世界知识构建符合物理规律的模拟器，然后用其训练机器人，增强模型的鲁棒性和泛化能力。此外，人工构建常识或符合物理规律的知识并将其应用于生成式模型或模拟器是一种常见策略（如ElastoGen [343]、Liu等人 [344]、Lionel等人 [342]）。这种方法为模型施加了更物理精确的约束，增强了其在生成任务中的可靠性和可解释性。这些约束确保了模型知识的准确性和一致性，减少了训练和应用过程中的不确定性。一些方法将人工创建的物理规则与大语言模型（LLM）或大型多模态模型（LMM）相结合。通过利用LLM和LMM的常识能力，这些方法（如Holodeck [72]、LEGENT [345]）通过自动空间布局优化生成多样化且语义丰富的场景。这通过在新颖多样的环境中训练通用具身体体，极大地推动了其发展。
B. 数据收集与训练
对于仿真到现实的适应，高质量数据至关重要。传统的数据收集方法涉及昂贵的设备、精确的操作，且耗时费力，往往缺乏灵活性。最近，已提出一些高效且成本效益高的方法用于高质量演示数据的收集和训练。本节将讨论现实世界和模拟环境中数据收集的各种方法。图15展示了来自现实世界和模拟环境的演示数据。
1) 现实世界数据：在大容量、丰富的数据集上训练大型高容量模型已展现出卓越的能力，并在有效解决下游应用方面取得了显著成功。例如，ChatGPT、GPT-4和LLaMA等大语言模型不仅在NLP领域表现出色，还为下游任务提供了出色的问题解决能力。那么，是否有可能在机器人领域训练一个具身大模型，使其通过训练具备强大的泛化能力，并能适应新场景和机器人任务？这需要大量的具身数据集为模型训练提供数据。Open X-Embodiment [284]：21个机构合作收集了来自22种不同机器人的具身数据集，展示了527种技能和160,266个任务。他们收集的数据是来自机器人的真实演示数据，通过记录执行操作的过程获得。这主要聚焦于家庭和厨房场景，涉及家具、食品和餐具等物品。操作主要围绕拾取和放置任务，少部分涉及更复杂的操作。在该数据集上训练的高容量模型RT-X展现出了优异的迁移能力。UMI [350]：提出了一种数据收集和策略学习框架。他们设计了一种手持夹持器和优雅的数据收集接口，实现了便携、低成本、信息丰富的具有挑战性的双臂和动态演示数据的收集。通过简单修改训练数据，机器人可以实现零样本可泛化的双臂和精确任务。Mobile ALOHA [351]：提出了Mobile ALOHA，一种低成本的全尺寸移动操作系统。它可用于在全尺寸移动条件下收集双臂操作的任务数据，如煎虾和上菜。使用该系统收集的数据和静态ALOHA训练智能体可以提高移动操作任务的性能。此类智能体可作为家庭助理或工作助理。在人类-智能体协作 [352] 中，人类和智能体在数据收集过程中共同学习，减少了人类工作量，加速了数据获取，并提高了数据质量。具体来说，在具身场景中，数据收集过程中，人类提供初始动作输入。随后，智能体通过迭代扰动和去噪过程优化这些动作，逐步优化以产生精确、高质量的操作演示。整个过程可概括为：人类贡献操作的直觉和多样性，而智能体处理优化和稳定性，减少对操作者的依赖，使执行更复杂任务和收集更高质量数据成为可能。
2) 模拟数据：上述数据收集方法涉及直接在现实世界中收集演示数据用于智能体训练。此类收集方法通常需要大量人力、物力和时间，效率低下。因此，在大多数情况下，研究人员可以选择在模拟环境中收集数据集进行模型训练。在模拟环境中收集数据不需要大量资源，通常可以通过程序自动化，节省大量时间。CLIPORT [275]、Transporter Networks [353]：它们从Pybullet模拟器中收集演示数据用于端到端网络模型训练，并成功将模型从模拟迁移到现实世界。GAPartNet [354]：构建了一个大型的以部件为中心的交互式数据集GAPartNet，为感知和交互任务提供了丰富的部件级标注。他们提出了一种领域通用的3D部件分割和姿态估计流程，能够很好地泛化到模拟器和现实世界中未见过的对象类别。SemGrasp [274]：构建了一个大规模抓取文本对齐数据集CapGrasp，这是一个来自虚拟环境的语义丰富的灵巧手抓取数据集。
3) Sim2Real范式：最近，已引入了几种sim2real范式。这些方法旨在通过在模拟环境中首先进行大量学习，然后迁移到现实世界环境，来减少对广泛且昂贵的现实世界演示数据的需求。本节概述了五种sim2real迁移范式，如图16所示。
Real2Sim2Real [355] 是一种通过在“数字孪生”仿真环境中训练强化学习来增强现实世界模仿学习的方法。该方法涉及在仿真中通过广泛的RL加强策略，然后将这些策略迁移到现实世界，以解决数据稀缺问题并实现有效的机器人操作模仿学习。最初，使用Nerf和VR等现有方法进行场景扫描和重建，并将构建的场景资产导入模拟器以实现真实到仿真的保真度。随后，仿真中的RL微调从现实世界收集的稀疏专家演示中得到的初始策略。最后，将精炼后的策略迁移到现实世界环境。TRANSIC [356] 是一种新颖的思路，通过实现实时人类干预来纠正现实世界场景中的机器人行为，从而缩小sim2real差距。该方法通过一系列步骤增强sim2real迁移性能：首先，在仿真环境中使用RL训练机器人以建立基础策略。随后，将这些策略实现在真实机器人上，当出现错误时，人类通过远程控制实时干预和纠正行为。从这些干预中收集的数据用于训练残差策略。最后，集成基础策略和残差策略确保在sim2real迁移后现实世界应用中轨迹更平滑。这种方法显著减少了对现实世界数据收集的需求，从而减轻了负担，同时实现了sim2real。域随机化 [357]–[359] 通过在仿真过程中引入参数随机化，增强在仿真环境中训练的模型对现实世界场景的泛化能力。虽然仿真和现实环境都涉及通过相机获取的视觉图像进行感知，但物体摩擦和光泽等差异使得精确仿真具有挑战性。因此，通过在仿真训练中随机化参数，可以覆盖广泛的条件，可能包含现实世界环境中可能发生的变化。这种方法增强了训练模型的鲁棒性，使其能够从仿真直接部署到现实环境。系统辨识 [360], [361] 构建了现实世界环境中物理场景的精确数学模型，涵盖动力学和视觉渲染等参数。这项工作旨在使仿真环境尽可能接近现实世界环境，促进在仿真中训练的模型和策略平滑过渡到现实环境。Lang4Sim2Real [362] 使用自然语言作为桥梁来解决仿真与现实环境之间的差距，具体地，将图像的文本描述作为跨域统一信号。这种方法有助于学习域不变的图像表示，从而提高跨仿真和现实环境的泛化性能。最初，编码器在带有跨域语言描述标注的图像数据上进行预训练。随后，使用学习到的域不变表示，训练一个多域、多任务的语言条件行为克隆策略。这种方法通过利用丰富且廉价的模拟数据中的额外信息来弥补现实世界数据的稀缺，从而增强sim2real迁移。
C. 具身控制
具身控制旨在使机器人能够通过与环境的交互和学习来获取新技能，从而适应并完成复杂任务。具身控制通过与环境的交互进行学习，并利用奖励机制优化行为以获得最优策略，从而避免传统物理建模方法的缺点。具身控制方法可分为两类：
1) 深度强化学习（DRL）。DRL能够处理高维数据并学习复杂的行为模式，因此适用于决策和控制。混合动态策略梯度（HDPG）[363] 被提出用于双足运动，使控制策略能够同时由多个标准动态优化。DeepGait [364] 是一种用于地形感知运动的神经网络策略，结合了基于模型的运动规划和强化学习方法。它包括一个地形感知规划器，用于生成步态序列和引导机器人朝向目标方向的基础运动，以及一个步态和基础运动控制器，用于在执行这些序列的同时保持平衡。规划器和控制器均使用神经网络函数逼近器进行参数化，并使用深度强化学习算法进行优化。
2) 模仿学习。DRL存在需要大量试错数据的缺点。为解决此问题，引入了模仿学习，旨在通过收集高质量演示来最小化数据使用量。为提高数据效率，提出了离线RL+在线RL以降低交互成本并确保安全性。该方法首先采用离线RL从静态、预先收集的大型数据集中学习策略。然后将这些策略部署在真实环境中进行实时交互和探索，并根据反馈进行调整。从人类演示中进行模仿学习的代表性方法是ALOHA [365] 和Mobile ALOHA [351]。
尽管具身AI包含高层算法、模型和规划模块，但其最基本和核心的组成部分是具身控制。因此，必须考虑如何控制物理实体并赋予其物理智能。具身控制与硬件密切相关，例如控制关节运动、末端执行器位置和行走速度。对于机械臂，已知末端执行器位置，如何规划关节轨迹将臂移动到目标？对于人形机器人，已知运动模式，如何控制关节以达到目标姿态？这些都是控制中需要解决的关键问题。一些工作专注于机器人控制，增强了机器人动作的灵活性。[366] 提出了一种基于视觉的全尺寸控制框架。通过连接机械臂和机器狗，利用所有自由度（腿部12个关节、臂部6个关节和夹持器1个关节），它跟踪机器狗的速度和机械臂末端执行器的位置，实现了更灵活的控制。一些工作 [367], [368] 采用传统方法控制双足机器人行走。MIT的Cheetah 3 [369]、ANYmal [370] 和Atlas [371] 使用鲁棒的行走控制器来管理机器人。这些已开发的机器人可用于更敏捷的运动任务，例如跳跃或克服各种障碍 [372]–[376]。其他工作 [377], [378] 关注人形机器人的控制，使其能够像人类一样执行各种动作并模仿人类行为。图17展示了机器人控制的一些示例。
具身控制结合了RL和sim2real技术，通过与环境交互优化策略，探索未知领域，可能超越人类能力，并适应非结构化环境。虽然机器人可以模仿许多人类行为，但如果没有基于环境反馈的RL训练，任务往往无法有效完成。最具挑战性的场景包括接触密集型任务，其中操作需要根据被操作对象的状态、变形、材料和力等反馈进行实时调整，这些任务只有RL才足够胜任。在MLM时代，大模型具备对场景语义的泛化理解，可以为RL提供出色的奖励函数。此外，RL对于大模型的对齐也很重要。未来，具身体体在预训练和微调之后，仍然需要RL与物理世界对齐，以便更好地在现实世界中部署。
VIII. 挑战与未来方向
尽管具身AI进展迅速，但它仍面临若干挑战，并展现出令人兴奋的未来方向。
高质量机器人数据集：获取足够的现实世界机器人数据仍然是一个重大挑战。收集这些数据既耗时又耗费资源。仅依赖模拟数据会加剧sim2real差距问题。创建多样化的现实世界机器人数据集需要各机构之间密切而广泛的合作。此外，开发更逼真和高效的模拟器对于提高模拟数据质量至关重要。当前工作RT-1 [12] 使用了基于机器人图像和自然语言命令的预训练模型。RT-1在导航和抓取任务中取得了良好效果，但获取现实世界机器人数据集非常具有挑战性。为了构建能够在机器人领域实现跨场景和跨任务应用的泛化具身模型，必须构建大规模数据集，利用高质量的模拟环境数据来辅助现实世界数据。
人类演示数据的高效利用：高效利用人类演示数据涉及利用人类展示的动作和行为来训练和改进机器人系统。该过程包括收集、处理和学习大规模、高质量的数据集，其中人类执行机器人旨在学习的任务。当前工作R3M [379] 使用动作标签和人类演示数据来学习可泛化的表示，在一些机器人抓取任务中显示出高成功率，但复杂任务的效率仍需提高。因此，重要的是有效利用大量非结构化、多标签和多模态的人类演示数据，结合动作标签数据，训练能够在相对较短时间内学习各种任务的具身模型。通过高效利用人类演示数据，机器人系统可以达到更高水平的性能和适应性，使其更有能力在动态环境中执行复杂任务。
复杂环境的认知：复杂环境的认知是指具身体体在物理或虚拟环境中感知、理解和导航复杂现实世界环境的能力。基于广泛的常识知识，Say-Can [380] 利用了预训练LLM模型的任务分解机制，该机制严重依赖大量常识知识进行简单任务规划，但缺乏对复杂环境中长期任务的理解。对于非结构化的开放环境，当前工作通常依赖预训练LLM的任务分解机制，利用大量常识知识进行简单任务规划，同时缺乏具体的场景理解。增强在复杂环境中知识迁移和泛化的能力至关重要。一个真正通用的机器人系统应能够在各种未见场景中理解并执行自然语言指令。这需要开发可适应和可扩展的具身体体架构。
长时程任务执行：执行单条指令通常可能涉及机器人的长时程任务，例如“打扫厨房”这样的命令，涉及重新摆放物品、扫地、擦桌子等活动。成功完成此类任务需要机器人具备在长时间跨度内规划和执行一系列低层动作的能力。虽然当前的高层任务规划器已取得初步成功，但由于缺乏针对具身任务的调优，它们在不同场景中往往表现不足。应对这一挑战需要开发具备鲁棒感知能力和大量常识知识的高效规划器。
统一的具身基础模型：探索用于具身机器人任务的基础模型仍是一个新兴研究领域，主要原因是机器人领域固有的具身形式、环境和任务的广泛多样性。孤立的数据集和评估设置加剧了这一挑战。为具身机器人建立一个鲁棒且统一的基础模型，需要利用大规模互联网数据集以及最先进的LLM、MLM和WM。
因果关系的发现：现有的数据驱动具身体体基于数据内在的相关性做出决策。然而，这种建模方法无法使模型真正理解知识、行为和环境之间的因果关系，导致策略存在偏差。这使得难以确保它们能够以可解释、鲁棒和可靠的方式在现实世界环境中运行。因此，对于具身体体而言，构建由世界知识驱动的具身感知、推理和交互框架，并具备自主因果推理能力非常重要。通过交互理解世界，并通过溯因推理学习其运行机制，我们可以进一步增强多模态具身体体在复杂现实世界环境中的适应性、决策可靠性和泛化能力。
对于具身任务（如具身问答、视觉语言导航和指令跟随），有必要引入具身交互因果表示学习。这涉及通过交互指令和状态预测建立跨模态的时空因果关系，形成基于交互和推理的表示学习系统。此外，智能体需要理解对象的可供性，以实现在动态场景中的自适应任务规划和长距离自主导航。为优化决策，有必要结合反事实和因果干预策略 [381]–[384]，从反事实和因果干预的角度追踪因果关系，减少探索迭代次数并优化决策。基于世界知识构建因果图，并通过主动因果推理驱动智能体的sim2real迁移，将形成一个统一的具身感知、推理和交互框架。
持续学习：在机器人应用中，持续学习 [385] 对于在不同环境中部署机器人学习策略至关重要，但它仍然是一个很大程度上未被探索的领域。虽然最近一些研究考察了持续学习的子课题——如增量学习、快速运动适应和人在环学习——但这些解决方案通常针对单一任务或平台设计，尚未考虑基础模型。待解决的研究问题和可行方法包括：1）在最新数据上微调时混合不同比例的先前数据分布以缓解灾难性遗忘 [386]，2）从先前分布或课程中开发高效的原型，用于学习新任务时的任务推理，3）提高在线学习算法的训练稳定性和样本效率，4）确定将大容量模型无缝整合到控制框架中的原则性方法，可能通过分层学习或快慢控制来实现实时推理。
统一的评估基准：虽然存在许多用于评估低层控制策略的基准，但它们所评估的技能往往差异很大。此外，这些基准中包含的对象和场景通常受限于模拟器限制。为了全面评估具身模型，需要使用逼真的模拟器来构建涵盖多样化技能的基准。关于高层任务规划器，许多基准侧重于通过问答任务评估规划能力。然而，更可取的方法是将高层任务规划器和低层控制策略一起评估，以执行长时程任务并衡量成功率，而不是仅依赖对规划器的孤立评估。这种集成方法可以更全面地评估具身AI系统的能力。
IX. 结论
具身AI使智能体能够感知、认知数字空间和物理世界中的各种物体并与之交互，这展现了其在迈向AGI过程中的重要意义。本综述广泛回顾了具身机器人、模拟器、四个代表性具身任务：视觉主动感知、具身体交互、具身体体与仿真到现实的机器人控制，以及未来研究方向。对具身机器人、模拟器、数据集和方法的比较性总结清晰地描绘了具身AI的近期发展，极大地有益于这一新兴且前景广阔的研究方向的未来研究。
原文链接： https://arxiv.org/pdf/2407.06886v1
热门跟贴