增强现实辅助的互认知人机安全交互系统|人机交互|人机安全交互系统|大模型|操作员|机器人|自动化

本期阅读

文章信息

增强现实辅助的互认知人机安全交互系统

郑湃，李成熙，殷悦，张荣，鲍劲松，王柏村，谢海波，王力翚

DOI：10.3901/JME.2023.06.173

引用本文：

郑湃, 李成熙, 殷悦, 张荣, 鲍劲松, 王柏村, 谢海波, 王力翚. 增强现实辅助的互认知人机安全交互系统[J]. 机械工程学报, 2023, 59(6): 173-184.

ZHENG Pai, LI Chengxi, YIN Yue, ZHANG Rong, BAO Jinsong, WANG Baicun, XIE Haibo, WANG Lihui. Augmented Reality-assisted Mutual Cognitive System for Human-Robot Interaction Safety Concerns[J]. Journal of Mechanical Engineering, 2023, 59(6): 173-184.

原文阅读（摘要）

摘要：在现代制造业中，人和机器人的交互共融是制造智能化的焦点问题之一。在人机交互中，机器人对工人的伤害风险是影响安全生产的关键因素。然而，在动态、不确定性的人机交互环境中，目前的人机安全交互系统仍然是基于机器人对环境的感知实现被动避让，缺乏基于互认知的自适应决策。为提高人对环境的认知能力，并增强机器人的自主避让和自适应能力，设计并实现了一种基于可穿戴增强现实技术的互认知人机安全交互系统。其中，可穿戴增强现实设备作为人机交互的媒介，实现机器人的虚实注册和工作环境的虚拟映射，收集人、机器人和作业空间的信息，实时为操作人员和机器人提供互认知辅助。互认知人机安全交互系统从三个方面确保人机安全：根据人机距离的机器人速度控制和安全区域可视化；虚实映射的运动预览和碰撞检测；基于深度强化学习的机器人避障策略。最后，通过搭建原型系统验证了所提出系统设计方法的可行性，以期促进先进人工智能技术与人机交互技术的融合发展，实现人机共融、安全协作。

关键词：智能制造；人机交互；增强现实；强化学习；安全策略

中图分类号：TP242

0 前言

工业机器人作为现代制造业的重要支撑技术和生产装备，被广泛应用于机械加工、焊接、搬运等各个环节[1 ]。在传统的人和机器人分离的制造模式下，对机器人预编程，可完成自动化程度较高的任务，极大提高了生产效率。近年来，随着市场需求越来越多样化，制造模式也由原来的大批量生产模式，向着多品种小批量生产模式转变[2]，并迫使企业更加灵活、高效地应对市场需求，以缩短生产周期、降低成本。然而，基于预编程的机器人虽然自动化效率较高，但配置时间长且缺乏柔性，难以自适应地满足定制化生产要求。针对这些挑战，融合机器人自动化与操作员认知优势的人机协作研究为业界提供了新的研究思路与解决方案[3-5]。

目前，国际上主要制造大国和研究机构对人机协作研究的重要性正逐步形成共识，例如，欧盟的“工业 5.0”报告和中国的“面向2035 的智能制造发展战略”报告均认为，人机共融协作是实现制造业智能升级的关键因素之一[6-7]。2015 年以来，协作机器人不断涌现并持续迭代发展，如优傲、库卡LBRiiwa 和ABB SWIFTI 系列等。自2021 年以来，协作机器人的全球营收额同比增长18.8%，预计到2028 年，将实现全球19.4 亿美元的估值，占据机器人总市场份额的15.7%，其中，物料搬运、装配和取放是协作机器人的主要用途，在这些场景中，操作员和协作机器人可以协同完成制造任务，实现柔性自动化生产[8]。

新一代协作机器人打破了原本人机隔离的工作模式，与人类共享工作空间[9-11]。因此，为实现良好的人机协作，确保操作员的安全是核心要素，也是以人为本的智能制造( 人本智造) 的应有之义[12-13]。为确保人的安全、避免意外碰撞，协作机器人必须满足安全设计准则，如ISO 10218-2[14]和ISO/TS 15066[15]；同时，随着生产制造的规模化和复杂化，传统的基于固定规则的机器人安全防护控制策略已经不能满足当前的安全需求，越来越多的研究学者将增强现实技术和深度强化学习应用到人机交互中[16-18]。人对自动化设备的信任是人机交互的基础[19]，基于物联网的增强现实技术可以将虚拟信息叠加在真实世界的视野中，增强人对现场环境的感知和认知能力，而且能够把人的信息集成到系统中，实现信息的实时通信和双向传递[20-21]。运用深度强化学习算法进行路径规划、规避障碍，可有效提高机器人的认知决策能力，在保证安全策略有效性的同时，尽可能兼顾灵活性和效率，在人机交互中有着巨大应用前景[22]。

由于操作员和机器人共享同一作业空间，人机交互面临的工作环境存在更多的不确定性[23-24]。目前在生产制造场景下的人机交互中，缺乏能实现人-机双向协同的安全交互策略。针对这一问题，本文提出一种人-机互认知的框架：针对作业人员，通过增强现实技术辅助，增强工人对生产环境的认知能力；针对机器人，利用传感设备提取工人信息以及周围环境的信息，并进一步通过深度强化学习算法来驱动基于认知的自主决策。结合上述的互认知框架，作业人员和机器人的安全交互将不局限于初步的简单感知，而是可通过感知进行自我动态调整，从而达到更好的交互性能。本文设计并搭建了一套基于可穿戴增强现实设备实现互认知的多层次递进式安全人机交互策略，主要贡献包括：① 设计了距离-速度机器人控制和安全区域可视化方法；② 提出了虚实映射的运动预览和碰撞检测方法；③ 结合上述两项的安全交互策略，实现了基于深度强化学习算法的机器人主动安全策略。

1 人机协作安全相关进展

1.1 人机交互安全

目前相关研究中，人机安全工作往往停留在机器人或者作业人员的单向认知，缺乏人机之间的双向认知能力：即机器人具备感知周围环境和认知决策的能力，能动态规避人类；人对工作环境的具备认知能力，能明确潜在危险。因此，为确保高效的人机交互，应兼顾安全系统的工作效率和灵活性，探索基于人机互认知的安全协作。

1.2 增强现实下的人机安全认知

将增强现实技术应用于人机交互中，可增强人对现场的感知能力。然而，目前基于增强现实的安全应用主要是将危险提示信号通过可视化或者听觉信号对操作员进行提示，只有少量工作考虑提前感知预警。同时，目前研究缺少对人机安全行为认知的应用，难以使作业人员认知到安全隐患具体的表征和后果，增强现实设备仅提示作业人员感知潜在危险，并不利于作业人员了解具体潜在的危险，以及如何采取相应措施进行处理。

1.3 深度学习驱动的人机安全认知

深度学习和强化学习算法在驱动机器人完成运动规划和规避障碍的任务中，可有效提高机器人的响应速度、适应性和灵活性。但同时，由于模拟器建模与真实环境的差别、机器人设计的物理模型不够准确、基于深度学习在真实环境下提取环境信息存在困难、感知系统布置的难度，使得此类系统的实际部署与应用目前尚处于起步阶段。

2 互认知人机交互系统的框架设计

在人机交互的安全应用中，根据生产过程中的人机交互的时间顺序，可以将人机交互安全问题分为接触前的安全预警和接触后的感知保护。在本工作中，针对接触前的安全预警，提出并设计了基于可穿戴增强现实设备的互认知主动安全保护系统，如图1 所示。在该系统中，可穿戴增强现实感知设备作为人-机的中继交互结点，将作业空间感知、环境数据收集、机器人运动决策、虚拟环境模型映射等功能集成在同一设备上，从而提高了系统的易用性和有效性。

3 互认知安全策略实现与验证

3.1 机器人的虚实注册和工作环境的虚拟映射

为了虚实环境的对照和增强人对机器人运动状态的认知，利用增强现实设备，将虚拟机器人注册到物理机器人上，实现二者坐标系的配准和运动姿态的重合，从而让虚拟机器人可以准确代表物理机器人的运动状态，保证后续安全措施的有效性。

3.2 基于人机距离的机器人速度控制和安全区域可视化

机器人距离控制在实际部署中，通常依赖于外部传感手段，成本较高。本文提出的基于人机距离的机器人速度控制方法，直接采用增强现实设备采集人机距离信息，当操作人员佩戴增强现实设备进入机器人工作区域后，机器人可以通过感知操作员的距离，从而相应地调整运行速度。当人机之间的距离逐渐减小，机器人的运行速度也会调低，减小意外碰撞时人的受力；随着操作员远离机器人工作区域，机器人也可以自动恢复正常的运行速度。具体速度标准可参照ISO/TS15066 标准。

3.3 虚实映射的运动预览和碰撞检测

在人机交互的生产任务，面对时间跨度较长或空间较小的机器人协作任务，规划出的路径仍可能出现意外碰撞。针对此类情况，通过虚实映射的运动预览和碰撞检测，进一步保证人机交互安全，在机器人对于作业人员的主动认知之外，实现作业人员对于机器人运动安全隐患的提前认知。

3.4 深度强化学习驱动的机器人主动避障策略

尽管上述的距离监测机制会起到基本的保护作用，但在人机近距离交互时，操作员不可避免地会阻碍机器人的正常运动线路，从而影响机器人的安全运行，发生碰撞，造成危险。深度学习和强化学习可增强机器人对环境的感知能力和相应的决策能力，深度强化学习在生产制造领域和机器人控制领域已得到广泛应用，机器人智能体可在与环境不断主动交互的过程中，通过强化学习算法学习到相应的动作策略。因此，在提出的基于人机互认知的安全策略中，采用基于深度强化学习的方法训练机器人，使其具有实时检测障碍并调整运行路径的能力，以减小碰撞发生的可能性、保护操作员安全。

4 结论

结合对目前生产制造领域人-机器人交互安全方法的分析，针对现有的安全策略的不足，本文设计了基于增强现实的人机互认知安全交互系统，并完成验证。在系统中，首先以可穿戴增强现实设备作为媒介，设计虚拟-物理映射的作业环境，实现人机互认知的基本框架。基于这个框架，进一步提出速度-距离控制、动态预览/碰撞检测、主动避障控制等多步混合安全交互策略，为实现人机共融的制造范式作出有效探索。

在本工作中的试验仅以初步验证可行性为目的，所以目前搭设的原型系统仅基于优傲 UR5 机器人作为验证对象。随着将来功能的逐步完善，本文提出的安全系统将会拓展至更多类型的协作机器人以及非协作机器人。与此同时，研究团队将继续围绕物理安全防护的算法实时性和有效性开展研究，也会考虑人因工效学等因素，在保证物理安全的同时，优化操作人员的交互体验。

作者：郑湃

责任编辑：李娜

责任校对：金程

审核：张强

JME学院简介

JME学院是由《机械工程学报》编辑部2018年创建，以关注、陪伴青年学者成长为宗旨，努力探索学术传播服务新模式。

欢迎各位老师扫码添加小助理-暖暖为好友，由小助理拉入JME学院官方群！

欢迎关注JME学院视频号~

寻觅合作伙伴

有一种合作叫做真诚，有一种发展可以无限，有一种伙伴可以互利共赢，愿我们合作起来流连忘返，发展起来前景可观。关于论文推荐、团队介绍、图书出版、学术直播、招聘信息、会议推广等，请与我们联系。

感谢关注我们！《机械工程学报》编辑部将努力为您打造一个有态度、有深度、有温度的学术媒体！