机械臂量表与灵巧任务语义之间的差距
机器人学习受限于数据稀缺性。目前尚无可供操作的互联网规模语料库，而收集机器人演示数据又需要庞大的硬件设备在现实世界中运行。
以自我为中心的人类数据显然是可扩展的替代方案，但以往大多数人机协同训练都将其应用范围狭窄，仅限于提升分布式环境下的性能或在执行相同任务时泛化到新场景。更难的问题是，人形机器人能否继承那些仅存在于非人类数据中的高级任务语义：例如排序的概念、将现有技能组合成新行为，以及在放置过程中基于规则的排序。
这并非易事，原因有二。首先，大多数视觉-语言-动作模型，包括本文使用的π0.5基础模型，都是为低维动作空间的平行爪机械臂构建的。一只五指灵巧的手，每只手有29个维度，双手控制则有58个维度，远远超出了模型32维的动作处理能力。其次，当人机动作表征的对齐依赖于逆运动学时，其本身就不可靠。对于像Tesollo（20个活动关节）这样具有高自由度的手，基于指尖目标的逆运动学和优化重定向经常会导致自碰撞或不自然的姿态。
一套采集设置即可记录两种不同构造下对齐的手指运动学数据
斯坦福大学和Meta团队基于Galaxea R1 Pro机器人构建了数据管道，每个末端执行器都配备了Tesollo机械手（20个关节）或Inspire机械手（6个关节），以及ZED mini前视视觉系统。远程操控方面，安装在MANUS手套上的Quest控制器驱动机器人数据采集。Quest控制器追踪操作者手腕相对于头戴式显示器的6D姿态，而MANUS手套则提供操作者手指关节的角度，这些角度被映射到机器人的手部关节，从而实现灵巧控制。两个设备均以100 Hz的频率进行数据记录。
随后，我们使用相同的MANUS手套和Quest控制器组合来采集人体演示数据，并搭配桌面式ZED mini设备，未使用腕部摄像头。使用同一根手指追踪数据流同时采集人体和机器人数据，使得跨实体对齐成为可能。Ego-Pi并非预测指尖位置并求解逆运动学方程来得到机器人关节构型，而是采用了一种以机器人为中心的动作表示方法：MANUS 手套提供的手指关节角度，通过每个关节的偏移量和缩放因子，逐个映射到机器人的关节空间。由于对齐过程在关节角度空间中进行，因此避免了机器人侧的逆运动学计算，后者往往会在Tesollo等高自由度机械手上产生自碰撞或不自然的姿态。
在动作表征一致的情况下，Ego-Pi通过交错动作公式来调整π0.5，该公式将左手和右手动作分布在两个标记上，在保留预训练动作头的同时，适应了58个灵巧维度。人类和机器人数据以50/50的批次比例进行联合训练。
无需机器人训练数据，任务语义识别成功率达 90%。
对于机器人从未演示过的目标行为任务，简单的协同训练能够有效地迁移任务语义：在按颜色对番茄进行分类的任务中成功率达到92%，在基于规则的包装任务中成功率达到 90%，而仅使用机器人的基线模型成功率分别为40% 和10%。装箱任务需要按顺序完成两项技能，并且是唯一需要双手操作的任务，该任务需要使用子任务预测作为辅助损失才能达到93%的成功率，高于简单协同训练的27%和仅使用机器人的20%，而结合骨架叠加后则达到了100%。在所有三种行为任务中，该框架的成功率均达到90%或更高。
通过重用人类演示来扩展灵巧学习
Ego-Pi表明，人类数据的作用远不止于强化分布式行为。它无需机器人进行任何目标任务的演示，就能教会灵巧的人形机器人真正全新的任务结构，包括排序逻辑、技能链和排序规则。其关键在于两种形态共享的一致且高速率的手指运动学数据流。随着人形机器人平台逐渐向拟人化手部设计靠拢，以及以自我为中心的动作捕捉成为常规操作，教授新行为的成本将从机器人远程操作时间转移到成本更低的人类演示，而动作表征（而非数据源）则承担了协调工作。
关于搜维尔科技
我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展，使其处于技术前沿甚至更前沿。在这个频道上，我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Manus数据手套总部签署代理合作协议，成为其在中国大陆地区一级官方代理商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务，欢迎垂询。
热门跟贴