捕捉人类专业知识以用于物理人工智能

训练机器人执行灵巧的现实世界任务仍然取决于一件难以规模化的事情:高质量的人类操作数据。

打开网易新闻 查看精彩图片

韩国物理人工智能初创公司RLWRLD近期接受了美联社的采访,该公司正围绕这一限制条件构建数据集。RLWRLD并没有依赖互联网规模的文本或视频,而是直接与熟练工人合作。在首尔乐天酒店,一名工人佩戴着随身摄像头折叠宴会餐巾。目前,CJ物流仓库和罗森便利店也采用了相同的方法——实时记录真实任务的执行过程。

目标是构建人工智能系统,将人类的灵巧性转移到工业和服务应用领域的机器人平台上。

MANUS手套如何支持RLWRLD的生产线

RLWRLD在其灵巧操作数据采集工作流程中使用MANUS数据手套。

MANUS 手套能够捕捉整个手部和手指的关节活动,并将数据直接传输到远程操作、仿真或数据集采集环境中。对于涉及多个操作员重复进行物体交互或演示的工作流程而言,始终如一的跟踪精度是确保后续数据集可用性的关键。

打开网易新闻 查看精彩图片

RLWRLD的目标并非仅仅是视觉记录人体动作,而是要保留熟练操作中蕴含的物理行为—抓握调整、接触时机、手指协调等,这些都体现了经验丰富的工人实际操作物体的方式。MANUS数据手套是确保动作捕捉可靠性的关键环节。

MANUS数据手套已应用于机器人和具身人工智能研究流程中,涉及模仿学习、远程操作和合成数据生成。

从人类演示到机器人学习

随着机器人实验室和公司不断研发功能更强大的机器人手和人形系统,对灵巧操作数据集的需求持续增长。

打开网易新闻 查看精彩图片

大型语言模型是基于从互联网收集的文本进行训练的。而物理人工智能系统则需要不同的数据:基于物理世界的真实交互数据。这包括工人如何折叠纺织品、整理货架、抓取不规则物体,以及在重复性任务中协调精细动作。这些知识大多无法用语言明确描述,但却能自然地通过人体动作表达出来。

通过将人类演示与能够捕捉关节层面手部运动的基础设施相结合,RLWRLD等公司正在构建用于下一代机器人学习研究的数据集。MANUS数据手套通过提供高精度的手指追踪,将演示转化为可用于训练的数据,从而为这一过程提供支持。

关于搜维尔科技

我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展,使其处于技术前沿甚至更前沿。在这个频道上,我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Manus数据手套总部签署代理合作协议,成为其在中国大陆地区的授权代理经销商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务,欢迎垂询。