摘 要

智能移动机器人因能在复杂动态环境中自主感知周围环境、确定自身位置和动态规划路径,因而可以在一定程度上代替人工完成特定场景下的巡检、搬运和引导等工作,甚至完成人工完成不了的任务;不仅可以解放人力资源,还可以增加生产效率。然而,复杂和动态的环境给移动机器人的部署应用带来了困难与挑战,本文介绍了动态场景下的移动机器人的若干相关关键技术,以及在新型冠状病毒疫情期间武汉雷神山医院智能配送服务机器人的应用案例。

关键字

智能移动机器人;环境感知;自主定位;路径规划;智能配送

0 引言

随着计算机、物联网、传感器,以及5G 通信等技术的迅猛发展,服务机器人的的功能更完备、性能更稳定、成本更低廉,因此大量的服务机器人出现在商场、学校、医院和餐厅等人流量较大的场景中,为消费者提供引导带路、广告宣传、美食配送及卫生清洁等服务。

2020 年初爆发的新型冠状病毒疫情给全社会做了一次深刻的公共卫生安全教育,更多人会意识到,智能移动机器人除了能应对招人难、招人贵等问题,还具备解决公共卫生安全问题的能力。机器人已成为生产力,至少在需要高危作业或人力极其短缺、成本高昂的行业将成为刚需。市场的反应尤其敏感,在二级市场,一些机器人概念股从1 月末以来震荡走高,以2 月6 日为例,三丰智能、上海沪工和山东威达等相继涨停,科创板股票江苏人大涨逾13%。2 月4 日,中关村科技园区管理委员会公布了首批抗疫《中关村新技术、新产品、新服务清单》,共有138 项科技与“抗疫”相关的自主创新技术在列,其中包括真机智能、猎户星空和华夏春松等机器人产品。长期来看,“劳动力成本上升”和“技术进步拓宽应用边界”将进一步推动各行业“减少对人工的依赖”的核心痛点,这将带来服务机器人整体赛道向好。

《中国机器人产业发展报告2019》提到,2020 和2021 年国内服务机器人市场规模分别有望达到30 亿美元和40 亿美元,同比增长约34%。智研咨询及华泰证券研究所的报告也预测,至2025 年,中国服务机器人市场排名前三的分别是公共服务机器人(25%)、家政机器人(23%)和娱乐休闲机器人(16%),如图1 所示。

图1 2025 年中国服务机器人市场结构预测

解决劳动力短缺,企业招工难、招工贵这些问题最关键的还是在技术。在工业机器人领域,流水线工人被机器取代,工厂自动化、智能化改造已很常见;而随着AI、5G、AIOT 和边缘计算等技术的叠加成熟,服务机器人能通过自主采集、分析周围环境的数据,以更快的运算速度适应不同场景。

然而,还有诸多研究问题与工程技术问题限制着移动机器人产业的大规模落地,其中如何较好地解决在实际动态场景中移动机器人的目标探测、自主定位,以及更加智能灵活的路径规划等成为了亟待解决的关键技术问题。下面,本文进一步讨论以上问题并给出了团队的解决方案;最后以新型冠状病毒疫情期间雷神山医院智能配送服务机器人为例,介绍本团队的相关应用成果。

1 难点与挑战

从运动相机获取的图像序列中,以三维的方式感知周围的世界,是计算机视觉、机器人技术、人机交互、虚拟现实,以及无人驾驶等领域的一项基础性工作。Visual SLAM(视觉同步定位与制图)系统一直致力于解决相机在探索未知环境时的位置估计,以及构建环境的3D 地图等问题,且因其信息量大、性价比高、适应范围广等优点而受到广泛关注。

并发定位和制图(SLAM)是机器人自主移动的关键,也是机器人领域和计算机视觉领域的核心技术。许多传统视觉SLAM 方法的核心基本假设是静态的场景,唯一运动的只有相机。为了处理物体始终在机器人周围移动的动态场景,一些SLAM 方法将动态部分视为此类静态模型的外点加以剔除,例如DS-SLAM 和DynaSLAM。但是这些方法并未对动态物体的信息进行获取,而这些信息对于机器人完成高级任务(如动态目标避障和人机交互等)来说是很重要的。香港科技大学研究的方法可以在动态自动驾驶场景中同时跟踪不同运动的3D 语义车辆,而不是将它们作为外点剔除。该方法可以处理动态道路场景中的移动汽车,但是还不能对运动物体进行密集建模,同时无法很好地处理其他种类的动态对象。MaskFusion 方法分割并将语义标签分配给在前景中独立移动的不同对象,同时跟踪其运动并对其进行密集建模。该方法结合使用Mask-RCNN 语义分割来分割运动物体,同时基于ElasticFusion进行运动物体的运动估计和密集建模。MIDFusion方法使用几何、光度和语义信息联合分割出运动物体。MaskFusion 和MID-Fusion 都能很好地分割和跟踪多种类别的运动对象,并且可以获得各个时刻运动目标的位姿和三维模型,进而初步完成时序三维重建。基于语义分割的动态SLAM 可以在一定场景下初步完成时序三维场景重建,但是该类方法只适用于带特定语义标签的目标,而实际应用中众多动态物体无语义先验加以识别,在这种情况下该类方法就难以工作。基于多运动分割的动态SLAM 方法通过将相同运动的点聚类为一个运动模型参数实例,从而在动态场景中分割出多个运动模型,该方法不依赖于语义标签,适用于任何动态物体。MVO 可以在无需简化约束或初始化的情况下,估计出双目/RGB-D摄像机和动态场景中各个运动对象的全部SE3 运动轨迹。该方法通过将多模型拟合(CORAL)应用到传统的视觉里程计(VO)中,分割和跟踪前景中移动的每个对象。但是,该方法不能重建静态背景的密集地图和运动目标的三维模型。Co-Fusion 方法通过多运动分割或实例分割的方法来分割运动物体,可以估计出相机和各个运动物体的运动轨迹,同时对静态背景和运动物体进行密集建模,进而初步完成时序三维重建。但是该类方法是在小面积室内环境中进行小范围运动的情况下完成的,并且不是在运动物体和相机同时做着大范围运动的情况下,估计出运动物体轨迹并对其进行建模,或者是先对静态的物体建模,再让其运动进行追踪,这些前提均限制了这些方法的应用范围。

公共场景中大量的行人会导致环境的高动态变化,对机器人的定位和路径规划将产生极大的干扰。目前,机器人在高动态环境中的定位问题,通过辅助定位信息和多源传感器融合技术已经得到了比较完善的解决。然而,绝大多数服务机器人的路径规划算法尚不能满足高动态场景的需求,仅仅通过边探测边规划的常规策略难以实现机器人高速灵活且安全的运动,因此需要机器人对场景中行人的运动进行预测,并将预测结果加入路径规划算法中进行最优路径的求解。全局路径规划的研究比较成熟,其中经典的算法是栅格法和A* 算法,二者均能快速实现无碰撞且最短路径的规划。在局部路径规划算法中,人工势场法、弹力绳法和动态窗口法由于原理简单、算法清晰而被广泛使用。人工势场法将环境抽象为受力场,目标点产生引力,障碍物产生斥力,机器人在引力与斥力的共同作用下运动。该算法结构简单、易于部署,但在狭长的走廊中会出现摆动的现象,在与障碍物距离过近时无法生成路径。弹力绳法将起点和目标点作为弹力绳的两端,障碍物作为在绳子周围阻碍其绷直的物体,搜索弹力绳紧绷时的最短路线作为局部路径规划结果。其原理直观,但在较为动态的场景中最优路径变化频繁,机器人易发生摆动。动态窗口法则直接对机器人的速度进行计算,更符合机器人的控制习惯,该算法在速度空间中采样多组速度,将有限的速度和加速度等运动约束考虑到动态窗口的设计中,模拟这些速度在一定时间内的运动轨迹,再通过评价函数对这些轨迹打分,最终选择出最优的速度。动态窗口法充分考虑了机器人的物理限制、环境约束和当前速度等因素,更加符合当前机器人路径规划的发展趋势,但是由于只生成短时间内的预测路径,因此往往在离障碍物较近时才开始避障,整体效果不佳。

以上种种问题极大限制了移动机器人在复杂动态场景下的部署应用,需要进一步加以研究并提出切实可行的解决方案。

2 DymSLAM 4D 动态场景重建

如何在复杂的动态场景中,将未知先验信息的运动目标准确、鲁棒的分割出来,并估计其在静止场景中的相对运动,同时构建环境3D 地图及运动目标的3D 模型是视觉环境感知领域的一大难题。团队利用双目相机提取的纹理与深度特征,对多运动模型进行了稳健的分割,并首次提出了多模型视觉里程计的框架体系,建立了动态场景的4D 全息地图,大大提高了视觉SLAM 系统对复杂动态环境感知的维度。整体框架如图2所示。

图2 DymSLAM 系统4D 重建整体流程图

进一步的,团队采用了量化残差偏好模型对视觉特征点进行建模,通过Linkage 聚类方法实现了运动目标的多模型分割;对时序帧上的多运动模型进行关联可得到静止环境与各个运动目标的运动模型参数;通过超像素分割与投影掩模调优的方式得到了属于不同运动模型图像的精细掩模;基于时序帧上的图像掩模子块,实现对静止环境与运动目标的密集3D 重建。以上方法在真实环境数据下的实验表明,该方法不仅可以得到动态环境下基于双目视觉估计的移动机器人自身的精确轨迹和运动目轨迹,还可以得到密集准确的环境地图与时序变化的运动目标的3D 模型。如图3和图4所示。

图3 机器人自身运动估计与精度评估

图4 静态背景密集3D 重建与运动目标密集重建

3 基于目标动态信息的局部路径规划

为了实现对动态障碍物的提前预测并及时避让,且机器人的运动不会干扰到场景中目标的自然移动轨迹,团队创新性地提出了一种随机器人与行人速度动态变化的组合椭圆行人区域,通过对经典动态窗口法中的评分函数进行扩展,实现机器人对行人的智能避让,最大程度地降低因机器人移动对行人原始行动意图造成的干扰。

动态组合椭圆行人区域是在已知行人相对于机器人的位置和速度信息后,生成的以行人位置为中心的半椭圆区域。该区域的参数和主方向随相对速度的变化而变化,与固定形状的区域相比,更加贴合真实情况。当机器人接近组合椭圆行人区域后,局部路径规划器会生成路径尽快驶离该区域,减少对行人原始运动意图的干扰,有效降低了机器人与行人发生擦碰的风险。图5 所示为动态组合椭圆行人区域示意图。

图5 动态组合椭圆行人区域示意图

团队提出了一种动态组合椭圆行人区域的描述方式,创新性地将行人相对于机器人的速度与舒适距离相结合,构建了一个随相对运动状态动态调整的行人区域,更符合基本的行走规律,当机器人从不同方向接近行人时均能最大程度地提前进行避让。

经典的动态窗口法考虑了机器人的机械性能,能规划较为平滑的速度,但是对动态障碍物的反应能力不佳,未能考虑障碍物的移动速度,往往在距离障碍物较近时才能避让,易与行人发生擦碰。团队以行人预测结果作为输入信息,根据预测轨迹是否已进入行人区域和快速驶离策略构建新的评价函数项。图6 示出了部分实验效果。

图6 融合动态目标预测信息的局部路径规划算法

部分效果图及比较结果

4 雷神山智能配送机器人

新型冠状病毒疫情期间,为了阻断病毒的传播,降低医护人员感染的几率与风险,有必要对进出病房的医护人员进行严密的防护措施,而这些措施在保护了医护人员生命安全的同时,客观上增强了他们的工作量,加大了工作难度,加速了医疗防护物资的消耗。如何尽可能地将病患与医护人员有效的隔离,将医护人员从繁琐、重复性的诸如送餐、送药等工作中解放出来,进一步实现病区日常工作安全、自主和高效的运行,是提高医疗服务质量与效率的关键环节。研究与开发具有自主感知、定位与导航的移动机器人用于传染病区的诸如餐饮、药品等物资的智能配送,将极大提升病区医疗服务的效率与自动化。而病区环境目前多为临时组建,环境复杂且具有诸多移动目标,移动机器人在此环境中稳定运行需要克服诸困难。

本团队针对疫情防控期间出现的核心痛点与需求,结合雷神山医院的实际情况,研发了如图7 所示的智能配送服务机器人。该智能配送移动机器人采取了多传感器融合的定位与导航方法,现场工作人员使用授权的手机通过网页控制机器人快速采集配送区的环境数据和配置配送点,可以在基本没有专业知识的前提下,无需专业设备快速完成配送业务流程的搭建。医护人员通过网页提交病患的配送信息后,可以动态自定义当前的配送任务并实时监测当前的配送状态。当智能配送移动机器人接收到完整的配置信息后将进行信息的校验,准确无误后将进行完全自动化的配送服务,整个过程中无需人工干预,且对变化的场景能自适应调整运行轨迹。移动机器人上搭载的智能货柜采用电子锁,可实现配送物资如食物、药品与病患信息的一一对应,严格杜绝病患人为错误导致的混淆和错误配送。整体流程自动化程度高,可不间断在线运营,安全可靠可信,在降低了医护人员感染几率的同时,减轻了工作量,有效保障了抗疫工作的效率和质量。

图7 智能配送服务机器人在雷神山试运行

5 结束语

随着人口结构的不断调整,以及人力资源成本的不断上升,使用移动机器人在一定程度上代替人工成为了必然的趋势,这将不仅能提升生产的效率,也将提高服务的质量。在实际部署过程中,由于环境的动态及复杂性,传统的环境感知、定位及路径规划等方法不能有效解决实际过程中的问题。本文提出的方案,解决了动态复杂环境下移动机器人应用部署过程中的若干关键技术,并成功应用于新型冠状病毒疫情期间的雷神山智能配送服务机器人。

(参考文献略)

2020年第10卷第6期 人工智能在抗疫中的应用专题