智能制造测量机器人关键技术

本期阅读

文章信息

智能制造测量机器人关键技术研究综述

王耀南，谢核，邓晶丹，毛建旭，李文龙， 张辉

DOI：10.3901/JME.2024.16.001

引用本文：

王耀南, 谢核, 邓晶丹, 毛建旭, 李文龙, 张辉. 智能制造测量机器人关键技术研究综述[J]. 机械工程学报, 2024, 60(16): 1-18.

WANG Yaonan, XIE He, DENG Jingdan, MAO Jianxu, LI Wenlong, ZHANG Hui. Overview of Key Technologies for Measurement Robots in Intelligent Manufacturing[J]. Journal of Mechanical Engineering, 2024, 60(16): 1-18.

原文阅读（摘要）

摘要：复杂曲面构件是航空航天、海洋舰船等领域高端装备的核心组成部分，其测量精度对保障高端装备制造品质具有不可替代的基础支撑作用。为克服传统手工、专机等制造方式的局限性，三维视觉引导的机器人系统为复杂曲面构件的高端化智能化加工提供新思路，并逐渐成为机器人化智能制造领域的研究热点。综述围绕机器人三维测量方法，首先根据传感器类型和应用场景，对不同制造场景的测量方案特点进行全面归纳，以帮助研究人员快速全面地认识和理解该领域。然后按照测量流程，将关键核心技术归纳为系统标定、测量规划、点云融合、特征识别等，综述各类别近十年的主要研究成果，分析现有研究存在的不足。最后总结机器人测量面临的技术挑战，并从应用场景、测量需求、测量手段等方面对未来的发展趋势进行了展望。

关键词：智能制造；机器人测量；系统标定；扫描规划；特征识别

中图分类号：TP242

0

前言

复杂曲面构件是航空航天、海洋舰船等领域高端装备的核心组成部分，其测量精度对保障高端装备制造品质具有不可替代的基础支撑作用。传统测量主要以量具、模具、仪器等手工或半自动方法为主，存在效率低、柔性差等不足。随着自动化与人工智能技术的进步和发展，机器人光学测量作为一种具有潜力的新兴测量方法引起广泛关注。相比传统测量方式，机器人测量在复杂曲面制造中具有许多潜在优势：① 通过视觉引导消除手动操作误差等人为因素影响，可实现更高精度的测量；② 能自动或自主执行测量任务，可提高测量结果的一致性和可重复性，适用于大规模的复杂曲面构件的测量；③ 不需要直接接触曲面，可以适应复杂曲面形状和结构，具有较高的灵活性和效率。然而，机器人测量面临众多挑战：如曲面形状的多样性导致了方案设计和参数设置的复杂性；测量传感器的性能、系统标定精度、测量路径规划模式等因素也会影响测量准确性和效率；制造过程中的环境振动、工件变形等干扰也可能对机器人测量的稳定性造成不利影响。因此，了解制造过程中机器人测量的优势、挑战和限制，以及当前的研究进展和发展趋势，对于制定合适的测量策略和技术改进具有重要意义。本综述旨在对机器人三维测量方法进行综合总结和分析，以期为相关领域的研究人员和工程师提供一个全面的了解。通过对近十年相关文献的梳理，按照测量流程，将关键核心技术归纳为系统标定、测量规划、点云融合与特征识别。论文分析了现有研究存在的不足，最后总结了机器人测量面临的技术挑战，并对未来发展进行了展望。

1

智能制造测量机器人应用现状

非接触式测量传感器在智能制造领域扮演了非常重要的空间信息获取角色，常见的光学测量传感器从原理上可分为立体视觉、结构光、激光跟踪、飞行时间、锥光全息等，每种原理都有各自的优缺点，以此赋能不同类型的制造场景，主要包括上下料位姿估计、加工寻位、装配引导、质量检测以及运动导航等，如表1所示。

在机器人上下料领域，通过结构光或立体视觉测量可获得物料6D位姿。图1a中FANUC公司在机器人系统中高度集成了iRVision智能视觉系统，无须增加第三方设备，就可以实现多种场景位姿估计与散乱抓取，有效降低了视觉系统开发成本和周期。ABB公司在RobotStudio机器人仿真软件平台开发了PickMaster技术，利用视觉感知和智能算法，使多台工业机器人能够同时在变化多端的环境中高效抓取物体。类似产品还有KUKA公司的PickControl、Yaskawa公司的MotoPick。整体上看，大部分制造场景对抓取精度要求不高，所以三维视觉引导的机器人上下料定位技术已经广泛应用到诸多行业，为工业制造流程自动化提供了强有力支撑。目前该方向研究的主要焦点是复杂背景下任意堆叠的多类型复杂零件的6D位姿估计，以及融合视觉、力觉、触觉等感知信息的安全柔性抓取技术等。

在加工寻位领域，机器人测量常见的应用场景有坡口焊接、铣削磨削等(图1)。如在机器人坡口切割和焊接过程中，可通过线激光位移传感器识别坡口和焊缝位置，为机器人作业提供点位信息。以坡口为例，主要包括“先扫后割”与“边扫边割”两种作业模式，先扫后割是先通过扫描获取工件完整的轮廓轨迹，然后再进行加工。边扫边割是指扫描和加工同时进行，传感器固定在枪头前方，对将要加工的轮廓点进行实时定位，然后动态修正预期加工轨迹。边扫边割模式相比先扫后割效率更高，适合高节拍生产线，缺点是技术难度大，加工时会产生大量的粉尘和强光，容易影响激光跟踪质量，而且扫描仪和枪头是共同固定在机器人末端，所以加工轨迹决定了扫描轨迹，加工复杂异形轮廓时容易超出视野，影响加工能力，这也是当前的应用难点，因此现有坡口方式主要还是以先扫后割模式为主。对于视觉引导的磨削、铣削，主要通过三维传感器获取工件加工区域点云数据，然后通过配准等方式计算工件加工位姿，从而实现工件坐标系的位姿校正。代表性产品有Kuka(图1b)公司的航空叶片铣削机器人、华中科技大学的核电叶片型面磨削机器人等。

在装配引导领域，目前在汽车电子、重工等行业应用较为成熟，光伏锂电等行业正加速应用，而在航空装配领域，由于精度较高、尺寸较大、工序复杂等因素，应用相对较少。潜在的应用场景主要是蒙皮装配和大部件装配。在飞机蒙皮装配过程中，为实现装配间隙最小化，可通过构建已装配和待装配蒙皮点云边界三维配准的目标函数，并引入曲面光顺、余量非负等约束，求解最佳装配位姿和边界加工余量，实现装配间隙最小化。如空客公司的移动测量机器人可实现机身扫描路径自动规划，通过Teg三维分析软件实现蒙皮点云虚拟装配。在飞机翼身等大部件动态对接过程中，是通过iGPS、扫描仪、动补系统、激光跟踪仪等多种测量传感器实现部件姿态的动态跟踪与装配引导，该领域的技术难点主要是力位耦合虚拟装配、高精度自动定位与闭环调姿等。

在质量检测领域，主要通过机器人携带三维扫描仪对工件实现自动检测(图2、图3)。如图2a德国Gom公司的ScanCobot人机协作全自动量测系统，精度高达微米级，可通过模拟现实环境智能规划无干涉扫描路径，效率相比人工手持测量提升2倍以上。如图2b美国宇航局NASA研制的双机器人协同检测系统，实现了飞机筒段的自动扫描与质量检测。湖南大学研制了基于数字孪生的机器人三维测量系统，如图3所示，通过建立的双目可视锥模型实现了扫描区域的准确预测，通过考虑测量精度和曲面完整性等多目标因素，实现了随意放置曲面零件的扫描路径自主规划，且无须设计模型，解决了传统固定式路径规划方法受限于零件类型与摆放姿态的局限性。类似产品还有海克斯康的白光自动拍照测量软件系统Coreview、惟景三维的自动化三维测量设备AutoScan。总体来看，近年来国产工业三维扫描仪与检测技术发展迅速，与德国Gom等公司的差距正逐渐缩小。

2

智能制造测量机器人关键技术

为实现工件定位和特征检测等作业任务，机器人测量系统需要完成系统标定、路径规划、数据融合、特征检测等关键技术流程，如图4所示。首先标定机器人测量系统，获取手眼位姿、关节参数等空间信息，系统标定是机器人精准测量的基础，确保了机器人能够准确地感知和定位目标物体。然后根据机器人测量系统的空间信息，规划机器人可行测量路径，路径规划确保了机器人能够以合适的方式移动到目标位置，获取多个位姿下的测量数据，并融合在同一个工件坐标系下。最后将融合的完整数据进行处理，获取所需的工件位姿、特征等几何信息，指导机器人作业。下面将对机器人测量的关键技术进行综述。

2.1 机器人测量系统标定

机器人三维测量系统标定主要是确定扫描仪与机器人之间的相对位姿关系，即手眼标定。手眼参数可表示为齐次变换矩阵T∈SE(3)，包括旋转矩阵T∈SO(3) 和平移向量 。手眼标定是机器人测量的共性基础问题，是获取多视角点云位姿关系初值的重要依据。手眼标定可归结为求解齐次变换基本方程 AX=XB 或 AX=YB 。其中 A

2.1.1 常见标定方法分类

(1) 根据视觉传感器与机器人之间的安装位置可分为眼在手型(Eye-in-hand)和眼在外型(Eye-to-hand)。眼在手型是传感器安装在机器人末端，可与机器人随动。该方式常用于机器人难以夹持的大型重载构件测量，如飞机蒙皮、起落架等。眼在外型是传感器安装在机器人本体外，不与机器人随动，常用于制造过程中零件需要改变姿态的情况，如流水线上的工件抓取、机器人夹持工件打 磨等。

(2) 根据手眼姿态R和位置t的求解顺序可分为同步标定和分步标定法。分步标定一般是先通过机器人的多次定向运动求解R，再利用R值求解t。例如，机器人带着标定物沿着三个方向平动，通过记录标定物在扫描仪和机器人坐标系的运动方向建立空间旋转变换方程

然后记录参照物在不同机器人姿态下的位置，以标定物与所固接坐标系之间的刚性约束求解位置t。分步标定计算简单，但姿态R的计算误差会影响位置t的标定精度。同步标定是通过向量化Vec等方式，将姿态R和位置t向量化为一个向量，然后在标定方程中同时求解。由于向量中R和t具有不同的度量，两者之间存在误差耦合影响，同步求解易出现较大偏差。手眼参数也可以与机器人等运动单元的关节参数进行同步标定和误差补偿，从而抑制关节误差等因素带来误差传递和误差耦合影响。

(3) 根据求解是否迭代可分为迭代法和封闭解法，封闭解法虽然速度快，但对噪音和数据规模较敏感，计算不稳定性。迭代法计算精度高且求解高效，所以常见方法是通过封闭解法计算手眼初值，然后再通过迭代法提高求解精度。

(4) 根据求解位姿的表示形式可分为齐次矩 阵、纯四元数、对偶四元数、李群等方法。纯四元数可以表示旋转矩阵，而对偶四元数则可同时表示旋转矩阵和平移向量，从而同时计算旋转矩阵和平移向量，可以避免纯四元数的分步标定引起的误差扰动。

(5) 按照传感器的分类可分为点激光、线激光和面阵视觉传感器标定法。点激光标定是激光束方向(单位法向量)和位置的标定，标定参数将退化为3个平移量和2个旋转量。点激光主要通过测量平面位置的变动进行标定。线激光扫描仪和面阵扫描仪的标定原理类似，但是线激光获取标定物特征点的方式有所区别。线激光可以通过获取扫描物体上线激光的长度、端点以及弧度等信息估计特征点位置，而面阵扫描仪的标定主要是通过整个型面点云的特征提取获取标定点。

(6) 按照是否需要外部参照物可分为基于参照物的标定方法和自标定方法两大类，下面分别对这两类方法进行介绍。

2.1.2 基于参照物的标定方法

基于参照物的方法是手眼标定的主要方法。常见思路是通过视觉传感器提取参照物中几何特征点的空间坐标，然后构建手眼参数与不同视角下几何特征的空间变换方程组，利用几何特征与自身所在坐标系之间的刚性不变约束求解手眼参数。其中参照物通常是已知尺寸的规则几何形状，便于提取中心点、端点等几何特征。常见的标定物有标准球、平面、圆盘、顶针、十字线、棋盘格、台阶面、以及自由曲面等众多形状。标准球是最常见的测量系统标定物，因为通过拟合球面点云或弧形截面点云就可计算球心位置，而无须精确通过球心。YIN等在机器人末端依次搭载了线性导轨和线激光位移传感器，构成了七轴测量系统，该系统以固定在地上的标准球为标定物，通过球心在机器人基坐标系下的位置不变性实现了关节参数、移动导轨方位和手眼参数的同步标定。LI等构造了基于转台-机器人-扫描仪的多方位测量系统，通过在不同机器人位姿下测量标准球实现了转台轴向和手眼参数的标定。单平面标定是以投射的线激光与矩形平面的交点为约束构造标定方程；多平面(需要保证互相垂直)标定是以平面之间的变换关系构建标定方程；圆盘标定是以盘心为特征点，通过激光投射到圆盘上的条纹宽度和圆盘直径计算球心位置；顶针标定是以顶点为特征点，要求控制机器人使扫描仪投射的线激光恰好经过顶点，判别方法是相机捕捉顶针和激光线，然后通过图像处理算法判断是否相交，十字线标定要求激光线经过十字线交点，判别方法与顶针法类似。为保证特征点测量精度，上述规则物体的尺寸须受到测量视野的限制，这也限制了机器人的运动范围和标定范围；此外，规则物特征点少，难以保证标定结果的精度和稳定性。顶针/十字等标定方法还要求严格控制机器人的运动，使传感器经过特征中心，不仅操作难度大而且精度有待提高。基于自由曲面的标定方法是通过引入点云配准算法，将曲面中的每一个点都当作特征点，可将尺寸受限的规则物提升到尺寸不受限的自由曲面，扩大了机器人的标定范围，然后通过误差辨识与补偿提高标定精度。图5给出了一般参照物的标定框架。

2.1.3 自标定方法

基于参照物的标定方法需要频繁标定的测量场景下并不适用，因此学者提出了无需任何参照物的自标定，也被称为闭环标定。自标定方法通过图像特征的几何不变量(如直线、消失点、圆等)，从静态场景图形信息中估计传感器参数。自标定最早的研究是关于Kruppa方程，该方程通过同一场景不同视角下图像之间的非线性约束，建立了传感器参数和空间二次曲线的关联，求解该方程即可计算标定参数。Kruppa方程直接求解困难、稳定性也较差，可以将其转换为数学规划问题，通过非线性最小二乘算法降低求解难度。分层逐步标定也可避免求解难题，思路是对多视角图像序列进行摄影重构和对齐，如正交三角形分解法、QR分解法、模约束法、最小霍夫熵法、本质矩阵法等。自标定方法的另一个重要分支是主动视觉法，是通过机器人控制视觉传感器做特定的精密运动来获取多幅图像，然后通过已知运动信息和传感器捕捉到的特征点来计算标定参数。常见的运动方式有平动、转动和复合运动。平动主要是以空间正交和平面正交平移运动为主，先实现扫描仪中摄像机的自标定，然后再实现手眼标定。纯旋转运动难以测定光源中心，而且理想的纯旋转难以操作。李宝全等提出了针孔摄像机与中心折反射摄像机适用的统一纯旋转自标定法，证明了传感器纯旋转运动时，空间固定点对应的球面投影点之间的距离保持不变，根据这一性质建立了标定方程，该方法对微小平移与噪声的稳定性较高。混合运动包括平移和旋转。如SUN等通过机器人的3个平移运动和2个旋转运动，用机器人末端的传感器捕捉环境中的任意2个特征点，推导了新的线性标定方程，同时减少了特征点的数量和机器人的运动次数，此外还包括基于2个特征点的4次线性无关的平移和1次旋转的混合运动、基于1个特征点的5次平移和2次旋转的混合运动等。自标定法本质上都是根据空间固定约束求解非线性方程组，但对噪声敏感，整体稳定性差。

传统应用场景下的机器人测量系统通用标定方法已经非常成熟。但是随着应用需求的拓展和人工智能等新方法的出现，标定方法也开始呈现出新的面貌和新的挑战，如多源传感器与多机器人之间的快速精确联合标定、基于深度学习的机器人标定。

2.2 机器人测量路径规划

测量路径规划是否合理直接影响工件测量完整性、精度与效率。传统的测量方式是将扫描仪安装在三角架上，通过肉眼观测已测点云的缺失情况来手动调整扫描仪位姿，然后不断重复调整、扫描与观测过程，存在效率低、操作不便、路径不可复用、三脚架位姿调整受限、精度受人为因素影响大等众多弊端，不适用于大规模的曲面测量。机器人测量系统通过编程规划机器人测量路径，有助于大幅提升测量效率和一致性。但是目前的机器人路径规划依旧主要依赖固定式编程，智能化程度受限，测量精度、效率和完整性都不一定能达到全局最优。为解决该问题，许多学者进行了大量研究。测量路径规划主要包括视点规划和路径规划两部分。视点规划属于主动感知的子类，广泛应用于未知室外环境自主探索、三维重建和质量检测。根据模型可分为基于已知模型和未知模型的视点规划两类。

2.2.1 基于模型的视点规划方法

基于模型的视点规划方法是假设场景和零件曲面的几何模型是已知的，然后利用模型的结构属性来生成候选视点。几何模型可以表示为点云、八叉树体素、三角网格和参数曲面等格式。然后通过聚类等方式进行曲面分块检测，搜索最佳视点集合。DORNHEGE等在可视性约束条件下，通过对八叉树形式的前景区域随机采样，生成了候选视点集合。BIRCHER等提出了一种基于迭代优化的路径规划算法，在每次迭代时以路径成本最低为目标寻找新的视点集合，适用于多个视野和多个传感器的同时规划。TANG等建立了完整的双目面阵可视锥模型，通过HMM算法对模型网格进行区域分割并生成候选视点，然后基于测量区域覆盖率目标函数生成了最佳视点，4种不同类型复杂曲面测量结果显示了该方法在兼顾完整性和较少视点方面的优势。WEI等提出了一种两步计算的近似最优视点搜索算法。第一步通过体素膨胀方法计算物体周围的体积和中间对象，然后通过对中间对象表面进行高斯采样来生成候选视点。第二步将视点优化问题转换为集合覆盖问题，通过综合随机密钥遗传算法和贪婪搜索算法来计算最佳视点。目前基于模型的视点规划方法存在的问题：① 在传感器配置和环境约束条件下，视点的全局优化问题仍然没有很好解决；② 受场景和模型多变等因素影响，缺乏一种适用于不同场景、不同模型的通用方法。

2.2.2 基于未知模型的视点规划方法

基于未知模型的检测方法常用于非结构化环境的自主探索，其场景和工件表面的先验集合模型是未知的，需要根据观察到的测量数据确定下一个最佳视角，即NBV(Next best view，NBV)问题。其关键点是如何定义合适的评价指标(如信息增益、观测误差、重建不确定性)，以在一组候选视点中选择最佳的NBV。考虑场景的表示类型，解决NBV问题主要有两类：表面法和体积法。表面法主要从传感器获取的数据中分析模型的几何结构，如未知区域的的表面趋势或法线。TORABI等通过估计不连续遮挡曲面的面片法矢确定可视方向，然后由观测锥和扫描仪的视野锥共同确定有效视点。基于包围盒的方法是通过使用计数度量或者概率度量估计包围盒中每个体素的信息，然后通过光学跟踪算法检测遍历的体素。例如，MONICA等提出了两种视点规划方法，一种是直接从截断符号距离函数(Truncated signed distance function，TSDF)包围盒中提取对象轮廓，然后从轮廓的每个体素中计算候选视点，并通过点云的显著性寻找候选视点中的NBV。另一种是通过GPU实时生成物体表面，然后建立与可视总面积相关的NBV目标函数。VASQUEZ-GOMEZ等将体素空间分为已知体素、空体素和待观测体素，然后在边界根据外接球面模型计算候选视点，最后根据可见性和扫描质量确定最优视点。此外，也可将未知模型转换为已知模型，首先通过传感器进行多视觉稀疏扫描，获取工件的粗糙点云模型与位姿，然后对该模型进行缺失区域检测与测量路径规划，生成稠密点云扫描路径，从而获得高精度的完整点云模型。

2.2.3 扫描路径规划

扫描路径规划是在视点规划的基础上，综合考虑机器人运动等约束生成最佳的机器人测量路径。如IRVING等考虑了扫描仪的可视性和机器人的可达性，以及控制和观测的不确定性，首先在状态空间中直接生成一组候选视点/状态集合，然后通过快速探索随机树来确定产生机器人的无碰撞轨迹，该方法在定位误差、碰撞避免和扫描覆盖率方面具有较好的效果。此外还有，面向大型复杂部件完整检测的多机器人协同扫描路径规划，以及面向未知环境的多传感器和多机器人的协同扫描路径规划方法等。德国GOM公司开发了扫描路径规划软件(Virtual measuring room，VMR)，可用于多种不同类型和不同尺寸的自由曲面，结合公司的机器人测量系统，可以实现高速高精自动测量。蔡司开发的自由曲面测量专用软件CALIGO，考虑避障等因素，可通过界面可视化交互等方式实现测量路径的自定义规划和自动规划，输出测量程序。目前市场上主流测量产品的路径规划还是依靠人为经验，主要受到复杂曲面、复杂工况、复杂场景等多因素影响，缺乏成熟的自主测量路径规划方案。

本文总结了测量路径规划的通用框架，如图6所示。① 针对视觉传感器，建立可视锥模型，包含视野、视角、遮挡约束等可视性分析模型；② 针对复杂曲面，进行分块操作，根据可视锥模型生成候选视点；③ 针对机器人，以机器人运动学模型与候选视点为输入，以机器人约束(关节极限、灵巧性、光顺性等)、工件约束(相邻视角重叠率、覆盖率、反光等)、系统约束(碰撞避免)等为限制条件，根据特定应用需求建立测量路径规划目标函数，转换为覆盖路径规划(Coverage path planning，CPP)等问题，通过梯形分割法、栅格法等求解最佳测量视点及测量路径。

2.3 多视角点云数据融合

为了获取飞机蒙皮、高铁车身等复杂构件型面完整的点云数据，需要从多个视角扫描物体，然后进行多视角数据融合。点云拼合是数据融合的基础，主要包括双点云拼合算法和多视角点云拼合算法。

2.3.1 双点云拼合方法

进行多视角点云数据融合首先要进行相邻点云的拼合，拼合方法可以分为两大类：带约束的拼合与自由拼合；带约束的拼合是通过已知的外部信息确定点云之间的空间位姿关系，常见的约束包括机械位置、姿态跟踪和标志点等。机械位置是指利用机器人位姿实现点云拼合，姿态跟踪是通过外部跟踪系统记录扫描仪位姿。标志点拼合是目前常见的全局测量方法，先是识别粘贴在曲面上的标志点，然后通过标志点拼合来求解相对位姿，该方式拼合精度较高，但是需要粘贴标志点，繁琐的操作无法满足多品种大型部件的自动化测量需求。

自由拼合是一种更加简单的整体测量方法，迭代最近点(Iterative closest point，ICP)是目前最常用的自由拼合方法，它通过最小化两点云之间的点-点欧式距离平方和来求解位姿参数，ICP仅具备线性收敛速度，且易陷入局部最优，在大规模点云拼合时不具备效率优势。ICP的改进方法主要有三类：第一类是定义新的距离函数，如点-切平面距离、点-超平面距离、点-曲线距离、平面-平面距 离、点-球面距离等。基于点-切平面的ICP具备二阶线性收敛速度，但是对于拉伸类的大型曲面蒙皮，容易导致点云沿切平面滑移，从而引起拼合失败。基于点-超平面的ICP则主要用于深度图像拼合。第二类改进方法是通过全局搜索为ICP提供一个较好的初值，如Go-ICP通过分支限界算法查找三维运动空间，以此优化初始位姿；第三类改进方法是定义新的目标函数。如正态分布变换(Normal distributions transform，NDT)、高斯混合模型(Gaussian mixture model，GMM)等。NDT拼合是将点云空间离散成网格单元，每个单元表示为网格内所在点的均值和协方差，假设点在特定位置的概率满足正态分布，然后通过最小化点云之间的NDTs来实现拼合。GMM拼合是将点云定义为GMM的质心，然后利用最大化似然估计函数将点云拼合转换为GMM质心的对齐。相比ICP，该类方法对初值不敏感，且无须寻找最近点，可大幅提升拼合效率，但简化了点云，因此不具备精度优势。第四类是基于深度学习的点云配准方法，已逐渐成为近年来的主流方法，如RPMNet、IDAM、DCP、PointNetLK等，主要有两种实现方式，一种是仅通过神经网络提取深度特征，然后以传统方式建立对应关系和估计变换。另一种是通过神经网络提取深度特征，然后以传统方式建立对应关系和估计变换。将点云特征提取网络和微分变换参数求解器集成到一个端到端的深度学习框架中。

综上，虽然目前的拼合方法众多，但改进点主要集中在粗拼合阶段，在精确定位与检测领域的精拼合算法主要还是依赖ICP。ICP的相关改进算法均基于点-点/点-切面距离构造目标函数，忽略了曲面变化对距离计算精度的影响，更容易引起复杂曲面的拼合误差。如何针对大型复杂曲面点云实现高速高精度拼合，在理论研究和工程应用领域依旧是一个极具挑战的课题。

2.3.2 多视角点云数据融合方法

多视角点云数据融合旨在解决双视角点云的扫描范围受限问题，其涉及的点云规模大且待求参数多，拼合的复杂性和难度也更大，主要包括无三维模型拼合和有三维模型拼合两大类。

无模型的多视角拼合常用的方法是通过多视角的类ICP方法来优化相对位姿或对应点点对，该类方法大多受到曲面复杂和点对估计稳定性等因素影响，可以通过优化扫描姿态来改进。另一种方法是充分利用全局循环一致性优化相对位姿。例如，全局结构运动(Structure-from-motion，SFM)旨在通过同步对旋转、平移和缩放分量进行求解。LI等提出了一种使用两个网络的全局点云拼合方法，一个用于位姿估计，一个用于估计全局坐标的占用状态来进行场景结构建模。

对于有三维模型的拼合，多视角相邻点云之间的两两拼合可以转换为每个测量点云与设计模型的拼合(多对一)，图7给出了常用的技术路线。该方法忽略了零件的实际形状与设计模型的差异，如果基于重建的三维点云进行质量检测，就容易引起较大的检测误差。BERGEVIN等提出了顺序拼合法，将所有视点集合看成一个整体，以ICP方法为基础，然后通过最小化所有视点集合中的拼合误差来进行拼合，以此降低匹配的累积误差。徐思雨 等提出了逐步求精的多视角点云拼合方法，通过考虑各视角点云的覆盖区域，建立合理的目标函数，将多视角拼合转换为双视角点云的拼合问题。GOVINDU等提出了基于拓展ICP的多视角点云同步拼合算法，将双视角拼合结果视为多视角拼合问题中的一组约束方程进行求解。ZHU等将多视角拼合转换为k-means聚类操作，其中每个点都会指定单个聚类簇。然后使用所有簇的质心构成的形状来估计每个点云的刚体变换。所有点云的聚类和位姿估计迭代进行，以保证拼合的精度和稳定性。EVANGELIDIS等将每个点假设为高斯混合模型里抽取的样本，然后将多视角拼合转换为聚类问题，提出了批处理和增量期望最大化算法稳定地估计高斯参数、旋转和平移等拼合位姿。该方法虽然精度高、但计算量过大。LEIBE等将多视角全局拼合转换为低秩稀疏矩阵的分解问题，对缺失数据、异常点和噪声具有较高的稳定性。GOJCIC等提出了一种端到端学习的多视角两阶段点云拼合算法，第一阶段进行初始对齐，第二阶段，针对低重叠率、对称性、重复场景点云等因素，通过学习的方式进行全局一致性增强和细化，同时将多视角拼合转换为迭代加权最小二乘问题，残差以迭代的方式反馈到拼合网络，提高了拼合精度。虽然目前多视角点云拼合方法众多，但受限于复杂曲面的多样性以及扫描点云的难预测性，满足航空航天等高端装备复杂部件制造需求的多视角点云高精度拼合方法一直有待突破。

2.4 三维点云几何特征识别

点云圆孔边界等几何特征识别与定位是机器人精准加工、装配与检测的前提，主要包括基于模型和深度学习方法两大类。

2.4.1 基于模型的几何特征识别传统方法

基于模型的几何特征识别主要通过挖掘模型的局部或全局几何信息识别数据中的特征点，按照特征类型主要可以分为点、线、面三大类。现有点特征提取方法主要是针对点云上特征显著的关键稀疏点，现有线特征提取方法主要以曲面轮廓线、模型边界等特征的粗略提取为主，在机器人三维测量领域，面向制造过程的特征识别精度相对较高，该方法难以适用。其次是针对特定曲面线特征的提取方法，如航空叶片横截面的中弧线、弦线、前后缘等，飞机蒙皮装配前的边界识别和装配后的缝隙识别等，如文献根据投影点的几何分布定义焊缝特征，提出了一种飞机蒙皮表面非结构化点云焊缝特征提取方法；文献定义了三种特征描述子，分别用于识别折线、小圆弧和大圆弧剖面线；在曲面特征识别领域，曲面可以由平面、球面、圆柱面、圆锥面和圆弧面等图元近似，相似度可高达95%以上，因此可以将曲面特征的识别转换为上述图元的识别。该方法可分解为两个步骤：首先是在点云上识别几何图元或形状，然后在图元的点云数据上通过最小二乘拟合等方式提取形状的几何参数，如图8所示。如柯映林等通过栅格划分建立了无序点云的拓扑关系，然后将栅格点的特征属性映射到高斯球和曲面法曲率坐标系上，利用假设检验法识别映射点的分布信息，最后基于映射点的聚类性质、栅格拓扑和分布拟合信息识别平面、球面、圆环面、等曲面特征及参数。

基于模型的特征识别常见方法从识别原理进行划分有模型匹配法、跟踪法、随机采样一致 性、霍夫变换、统计法等。模型匹配法是将实物点云与CAD模型配准，然后将模型的特征映射到实物点云，但是测量点云并不一定三维模型，或者模型与点云之间存在较大的差异(如铸件毛坯)，此时该类方法将不再适用；跟踪法是根据特征的几何和拓扑关系进行推理识别，例如可以把零件模型、几何形状、公差、属性和指定的设计形状特征等可选信息作为输入，然后根据CAD模型中的特征痕迹自动寻找真实的点云特征；基于随机采样一致性方法是通过随机采样选择满足特征表达式的潜在数据，特征识别和参数提取同时进行，常用于粗提取或点云分割；霍夫变换法是在特征的参数空间中通过投票(累加空间的局部最大值)来确定形状，如图9所示。

2.4.2 基于深度学习的几何特征识别方法

基于深度学习的点云几何特征识别常见思路如下：① 对需要识别的特征进行分类；② 创建相应点云特征的数据集，用于训练深度学习神经网络；③ 设计神经网络模型，并用数据集进行训练；④ 将所需要识别的特征点云输入训练好的网络模型，最后输出特征。基于深度学习的特征提取方法主要以PointNet卷积神经网络模型为代表，基本思想是学习每个点的空间几何特征，然后利用学习的特征进行对象分类、部件分割和语义解析。该方法克服了点云的无序性，有效提高了传统方法的性能。但PointNet只表征每个点，局部特征信息整合能力弱，会对分类造成大量信息损失，在此基础上产生了PointNet的众多衍生方法，如PointNet++、PointWeb、PointCNN 、PCRNet、DCP、PRNet、DGR、PREDATOR等特征提取网络。PointNet++是在PointNet的基础上增加了采样操作，同时对不同区域的点集分别提取特征，从而增强局部特征提取能力。PointCNN是根据点的顺序，采用X-Conv操作符对点云和特征进行排列加权，输入顺序不同会引起不同的变换矩阵，主要用于解决点云的无序问题。PointWeb考虑了局部邻域点集的结构以及与中心点的关系，通过局部区域每个点对的连接来获得特征明显的点云区域，如图10所示。

上述方法主要是针对静态几何目标的识别，然而部件在装配等制造过程中同时存在整体位姿的动态变化和自身的弱刚性变形，这对目标的动态识别提出了挑战。相关学者在该方面也进行了初步探索。EBBESEN等开发了一种综合3D高速图像、深度学习、物理模型与GPU加速的鲁棒优化方法的目标跟踪系统，实现了动态目标高时空精度的快速跟踪，实时性达到60帧/s。LEE等提出了一个视觉惯性骨架识别与跟踪(VIST)框架，通过多个IMU、视觉标记点和立体相机的多源感知，实现了柔性目标在复杂运动过程中的动态识别与跟踪。DESINGH等提出了一种基于非参数置信度传播的关节类目标识别与位姿估计方法，该方法将目标识别问题描述为成对马尔可夫随机场，其中每个隐藏节点表示目标识别变量的位姿，边缘表示多个目标之间的几何约束，通过将物体几何模型和观测到的RGB-D数据作为输入，实现了物体中多个运动关节的动态识别。

综上可得，现有的几何特征识别方法主要针对特定和通用特征。特定特征提取方法虽然精度较高，但是对复杂曲面上多种点、线、面等特征的柔性识别，其通用性有待提高。而现有关于多元特征的动态识别与跟踪通用方法往往难以满足工业应用场景，不同应用对象(尺寸、形状、曲面轮廓)及点云(规模、密度、完整性、均匀性等)往往存在较大差异。如何设计合适的特征识别与跟踪模型，兼顾专用特征提取方法的精度和多元特征提取方法的适用性，是实现机器人测量迫切需要解决的难题。

3

智能制造测量机器人应用实例

3.1 线激光位移引导的机器人等离子切割

金属板材是制造工程机械、舰船等装备的主要物料，在下料后需要进行折弯、坡口切割、焊接、喷涂等制造工艺，坡口切割是指在物料边缘进行倒角，以给后续焊接留出焊槽的空间。坡口切割常见的方式有铣边机、龙门刨以及手持加工等，上述方

法存在速度慢等缺点，而视觉引导的机器人等离子切割则可大大提升切割效率，但是异形件的坡口质量提升受限，本文给出了技术路线图，如图11所示。首先流水线上的线激光位移传感器对物料进行识别定位，然后垳架调姿后自动抓取上料，再由电缸对边界进行粗定位，最后机器人进行动态的寻位与坡口。其中涉及的关键难题如下：① 机器人坡口测量系统几何参数的大范围高精度标定；② 机器人坡口位姿优化；③ 机器人坡口边界动态寻位与实时路径补偿；④ 坡口误差追溯与质量控制。本文通过对上述进行改进，有效提升了等离子坡口型面质量与钝边精度，其中精度提升到0.5 mm以内，完全达到了工程机械制造的工艺要求。

3.2 视觉引导的核电叶片机器人磨削

核电叶片的机器人打磨相比人工具有效率高、质量高、劳动强度低等优点，在近10年来研究较多，其常见的定位方式主要通过视觉传感器获取叶片型面点云，然后与设计模型进行最小二乘三维匹配来确定工件位姿，如图12所示。如XIE等考虑了叶片点云缺失、密度不均等固有测量缺陷，建立了方差最小化的工件点云匹配与定位方法。并进一步从机器人测量与加工误差传递建模、工件/工具参数标定、位姿优化三方面系统研究了机器人加工误差控制方法，为机器人加工的精确定位与误差控制 提供了参考。但是叶片前后缘等区域曲率突变，机器人打磨难度较大，因为需要机器人在较小的移动范围内快速实现较大的位姿变化，极易出现欠磨或者过磨。

3.3 面向航空蒙皮装配的机器人铣边定位

在航空制造领域，为控制装配间隙与阶差，蒙皮在装配成飞机筒段、机翼等大部件前，时常会面临边界铣削的问题，铣削余量决定了蒙皮装配间隙与阶差，现有的方式主要通过已装配蒙皮与待装配蒙皮间进行肉眼对准已装配/待装配蒙皮进行划线、然后进行手工切割，存在效率低、精度差等不足。相比之下，由机器人进行自动视觉定位与铣削可大幅提升效率，但是需要扫描需要完整的边界点云，与已装配蒙皮进行对比确定余量后再进行铣削，因此无法像曲面切割/焊接进行动态寻位与加工。相比刚性构件型面磨削，其难度也更大，主要包括两方面。① 在线测量：叶片/螺旋桨等型面磨削无须提取几何特征，而蒙皮铣边需要基于测量点云精确提取边界特征，面临局部噪点、边界/拐角缺失等诸多干扰因素；为此，WU等提出了一种提出了基于分层分支搜索的蒙皮铣边边界提取方法，如图13所示。定义了空间切面连续描述子，实现边界点精确建模。建立了依靠空间切面连续描述子的分级分支搜索，然后以边界骨干建立-骨干点扩张-离散点剪枝为主体框架，实现了高精度、低扫描复杂度的蒙皮铣边边界提取；② 余量计算：叶片/螺旋桨通常为恒力浮动或者固定余量磨削，在磨削时可以认为是刚体。而蒙皮为大型薄壁变形件，铣边余量通常是不均匀的，在计算时不仅需要考虑本身的弯曲变形，同时需要考虑与相邻已装配蒙皮之间的装配关系进行约束匹配，其计算更复杂、难度更大。

4

总结与展望

复杂曲面的机器人三维测量研究已经取得了显著进展，通过高精度传感器与机器人的高度集成，以及系统标定、路径规划、多视角数据融合和几何特征识别等技术的应用，实现了对复杂曲面的精确测量和分析，但仍然还有许多方向有待进一步探索。

4.1 复杂部件实时精确测量

在大构件寻位加工、对接装配等动态制造场景中，复杂曲面的测量需要同时满足高精度与高实时要求，但面临传感器采样率的限制、数据传输与处理速度慢、对噪声和环境变化敏感、复杂结构曲面特征提取困难等诸多问题。为此，未来改进的方向如下：① 提升传感器的灵敏度、分辨率和采样率，开发环境适应性三维重建算法，以实现更快速和精确的数据获取；② 改进数据处理算法和优化计算方法以提高数据处理速度；③ 结合深度学习和计算机视觉等技术，发展更高级的算法和模型，实现对复杂曲面几何特征的精确识别和分析；④ 引入先进的控制系统和反馈机制，可以实时调整测量参数和机器人运动，以适应曲面类型和环境变化；⑤ 加入快速校准和自适应校正技术，帮助及时发现和纠正系统误差，保持测量精度。同时这些改进措施可以相互结合，以提高机器人测量复杂曲面的高精度实时测量能力。

4.2 大范围制造场景多机高精度协同测量

飞机蒙皮、高铁车身、舰船壳体等大型部件质量检测需要获取大范围曲面测量数据，以提供加工余量、整体变形等更准确的信息。而单机器人测量存在工作范围有限、模式单一、效率低等缺点。为提高大范围曲面测量的效率和准确性，可以引入多种异构机器人协同测量，在实现复杂曲面全面覆盖测量的同时，充分利用时间和资源，大幅提高测量效率，还可以通过相互通信、数据融合、共享信息并协同工作，提高测量精度。为了实现多机协同测量，目前需要解决的问题如下：大规模点云实时高效通信问题，如何基于无模型工件的稀疏三维点云高效规划多机测量路径问题，多视角弱特征测量数据的精确融合问题，以及大范围精密测量科学装置系统设计问题等。

4.3 多源异构传感器融合测量

复杂曲面可能具有形状不规则、曲率突变、表面反光等特点，这些因素易导致单一传感器难以完全获得曲面的所有细节和特征。通过多传感器数据融合，可以结合不同类型传感器的优势，如融合视觉图像传感器和激光位移传感器，获取更全面准确的测量信息。视觉传感器能够提供高分辨率的测量结果，可以捕捉到细小的特征和细节，但只能提供水平方向上的信息；而激光位移传感器可以提供深度信息，但难以捕捉细节而且数据处理更为复杂。因此，融合二维图像和激光点云数据可以弥补各自的缺点，提高整体测量精度和鲁棒性。但多源异构传感器数据融合面临传感器之间的数据精确对齐和校准难题，因为不同传感器的数据格式、采样率、坐标系等存在差异，需要进行数据预处理和对齐，并考虑传感器之间的关联和权重分配等，还需要设计和开发适应不同应用场景下的融合算法。针对这一现状，未来需要进一步研究多模态数据的融合方法，解决数据对齐和校准问题，实现更准确和完整的数据融合。

4.4 复杂多变制造场景智能化自主测量

在高温、高压等危险环境中测量可能会对工作人员构成威胁，为此，需要实时选择合适的智能化自主测量方案，增强对外部环境的抗干扰能力与多类型测量需求的适应能力，同时降低人为因素误差并提升效率，推动相关领域的研究和应用。目前智能化自主测量仍是需要努力的方向主要如下：① 自适应路径规划。机器人发展能够根据曲面形状、可视锥模型、测量需求和外部干扰自动调整路径；② 自适应能力和智能化功能。结合机器学习和人工智能技术，自动选择最佳的测量策略。同时，机器人还可以学习和优化测量过程，能够及时应对异常情况和变化环境，实现机器人在测量过程中的实时监控、故障检测和自适应控制，从而提高测量的泛化能力。

综上，测量机器人的发展前景十分广阔，这些进展将提高复杂构件制造效率和质量控制准确率，推动机器人化智能制造应用。随着科技的不断进步和创新，我们可以期待机器人测量技术能力会得到进一步提升，为制造业带来更多的便利和高质量发展机会，如图14所示。

作　　者：王耀南

责任编辑：赵子祎

责任校对：恽海艳

审　　核：张　强

JME学院简介

JME学院是由《机械工程学报》编辑部2018年创建，以关注、陪伴青年学者成长为宗旨，努力探索学术传播服务新模式。

欢迎各位老师扫码添加小助理-暖暖为好友，由小助理拉入JME学院官方群！

欢迎关注JME学院视频号~

寻觅合作伙伴

有一种合作叫做真诚，有一种发展可以无限，有一种伙伴可以互利共赢，愿我们合作起来流连忘返，发展起来前景可观。关于论文推荐、团队介绍、图书出版、学术直播、招聘信息、会议推广等，请与我们联系。

感谢关注我们！《机械工程学报》编辑部将努力为您打造一个有态度、有深度、有温度的学术媒体！

版权声明：

本文为《机械工程学报》编辑部原创内容，欢迎转载，请联系授权！

在公众号后台留言需要转载的文章题目及要转载的公众号ID以获取授权!

联系人：暖暖

电话：010-88379909

E-mail：jme@cmes.org

网 址：http://www.cjmenet.com.cn

官方微信号：jmewechat