学术前沿| 张继贤：点云信息提取研究进展和展望|163

《测绘学报》

构建与学术的桥梁拉近与权威的距离

点云信息提取研究进展和展望

1. 国家测绘产品质量检验测试中心, 北京 100830;
2. 中国测绘科学研究院, 北京 100830;
3. 芬兰地理信息研究所, 芬兰基尔科努米 02431

收稿日期：2017-06-22；修回日期：2017-09-07

基金项目：国家自然科学基金（41671440；41371405）；遥感青年科技人才创新资助计划

第一作者简介：张继贤(1965-), 男, 研究员, 博士生导师, 研究方向为资源与环境遥感监测。E-mail:zhangjx@casm.ac.cn

通信作者：林祥国E-mail:linxiangguo@casm.ac.cn

摘要：点云是目前摄影测量、遥感、计算机视觉等多个领域广泛应用的数据源之一，而信息提取是点云处理、分析和应用的必经环节。为此，学术界已经提出了大量点云信息提取方法。本文从基元类型、提取特征、特征选择与分类器等3个视角概括了点云信息提取的相关研究现状，总结出点云信息提取存在的5个主要问题，点明了点云信息提取的6个主要发展趋势，并着重介绍了“融合多基元的点云信息提取范式”。

关键词：激光雷达点云摄影测量点云滤波分类多基元融合信息提取

Advances and Prospects of Information Extraction from Point Clouds

Abstract: Point cloud is one type of the widely used data sources in many communities such as photogrammetry, remote sensing, and computer vision etc. Moreover, information extraction is a necessary step in the process of point cloud processing, analysis and applications. As result, the scholars have proposed a great number of methods for point cloud information extraction. According to the three view points of primitive types, extracted features, and methods for feature selection and classification, this review paper summarizes the research status of point cloud information extraction. This paper also point out five main problems and six main trends in point cloud information extraction, especially introduces a new paradigm:fusion of multiple primitives for point cloud information extraction.

Key words: LiDAR point cloud photogrammetric point cloud filtering classification fusion of multiple primitives information extraction

目前，点云已经成为摄影测量和遥感、计算机视觉、机器学习等多个领域常见数据源之一，且其类型多样。本文点云仅包含机载激光雷达(light detection and ranging，LiDAR)点云和摄影测量点云两种类型。机载LiDAR测量技术的出现和发展，为地理空间三维信息获取提供了全新的技术手段，它被誉为是继全球定位系统以来在测绘遥感领域的又一场技术革命[1]。其创新性、开拓性，既表现在新颖的数据获取方式、组织方式，又表现在数据处理和信息提取需要新理论、新方法。这种新颖的数据被称为机载LiDAR点云，它具有海量(数据量大)、高冗余、局部数据缺失、点密度不均一、非结构化的特点[2]。同时，机载LiDAR点云类型也正在日益多样化。例如，将LiDAR点云赋予与之相匹配影像的色彩信息，可以产生影像点云；同时，随着目前多光谱/高光谱激光雷达测量技术的发展，也可以直接获取带有多光谱[3]/高光谱特征的LiDAR点云。

另外，倾斜摄影成为近年来国内外摄影测量与遥感领域发展十分迅速的一项高新技术。它通过在同一飞行平台上搭载多台传感器，同时从垂直、倾斜等不同的角度采集影像，获取地面物体更为完整准确的信息。其关键内容通常包括区域网联合平差[4]、多视影像密集匹配[5]、数字表面模型生成、真正射纠正、三维建模[6-7]等。其中，多视影像密集匹配生成的摄影测量点云[8](或称影像匹配点云[9]、密集图像匹配点云)不仅在精度上可与LiDAR点云相媲美，而且直接具有光谱信息，具有广泛的应用价值。

目前，点云已经广泛地应用于高精度大比例尺数字高程模型(DEM)制作[10-11]、电力巡线[12-13]、建筑物三维建模[14-15]、地表覆盖分类[16]、变化检测[17]、森林资源调查[18]、生物量估算[19]、基础设施制图[20]、海岸带测量、矿山测量、灾害评估、湿地测图、城市规划等领域。尽管目前点云处理和应用的领域十分广泛，但是学术界和工业界也认识到：点云信息提取(本文点云信息提取只涉及滤波、分类)是点云应用的必经步骤和基础性工作。然而，尽管已有大量点云信息提取方法，且部分方法已经工程化应用，但是点云信息提取研究仍然处于发展阶段，还有许多问题没有得到解决，尤其是目前主流的基于点的信息提取方法并未充分挖掘点云数据本身的自动化潜力，迫切需要新的点云信息提取理论与方法。

1 研究进展

过去的20年中，点云信息提取已经取得了显著的进展[21-22]。本文按照点云信息提取过程中涉及的基本处理单元(基元)类型、提取的特征、特征选择与分类方法等3个视角[23]分别对相关研究现状进行综述。

1.1 基于多基元的点云信息提取

在点云信息提取领域，滤波通常指区分点云中的地面点和地物点(非地面点)的过程[24]。另外，点云分类有狭义与广义之分。狭义的点云分类，是将地物点进一步区分为植被点、建筑物点、水体点等更精细类别点的过程；广义的点云分类同时包含了滤波和狭义点云分类的全部内容。点云信息提取中使用的基本处理单元，称为“基元”。按照基元类型，可以将已有的方法划分为基于点、剖面、体素、对象、多基元融合(如图 1所示)等4类点云信息提取方式。

图 1 点、剖面、体素、对象、关键点等多种基元的示意图Fig. 1 Illustration of multiple primitives such as point, profile, voxel, object and key points

图选项

1.1.1 基于点基元的信息提取

点云本质上是点的集合，点是点云信息提取中最原始的基元，如图 1(a)所示。滤波方面，有代表性的基于点的滤波方法包括渐进加密不规则三角网[10-11]、分层稳健线性内插[25]、坡度[26]、渐进窗口形态学[27]、Top-Hat形态学变换[28]、布料拟合[29]滤波等。

分类方面，提出了大量的基于点的点云分类方法。例如，文献[30]以点为基元计算特征，进行电力线路走廊机载LiDAR点云分类。文献[31]以点为基元提取了20余种特征、并顾及空间上下文关系进行机载LiDAR点云分类。商业软件TerraSolid和LAStools中的分类模块也使用了点基元。在分类过程中，基于点基元的分类方法通常使用了3种近邻邻域关系确定任意一点的特征，这3种邻近包括：球半径邻近[32]、圆柱体邻近[33]、K最邻近[34]；且这3种邻近关系的查询均可以借助kd-tree实现。另外，最优邻域的选择[35-37]也是基于点基元的分类方法关注焦点之一；但是，最优邻域选择过程一般计算复杂度高、特别耗时[38]。

目前，使用点基元的点云信息提取方法较多。但该类方法却存在可利用的特征不足、特征计算耗时、难以确定最优邻域等问题。

1.1.2 基于剖面基元的信息提取

扫描线是多数机载LiDAR系统获取和组织点云数据的常见方式。可以将一条扫描线看作一个剖面，按照扫描线建立点云索引[39]，如图 1(b)所示。滤波方面，文献[40]提出了基于剖面基元的双向标号机载LiDAR点云滤波方法。文献[41]实现了基于剖面基元的并行滤波算法。分类方面，文献[42]首先把机载LiDAR点云表示为正交剖面的数据结构，然后进行点云分割和分类。

目前，使用剖面基元的点云信息提取方法较少，主要是由于剖面能顾及的邻域有限、可利用的上下文特征和知识不足。

1.1.3 基于体素基元的信息提取

体素将原始激光点云数据划分到具有一定体积大小的长方体中，每个长方体内的点集称为一个体素，如图 1(c)所示。滤波方面，文献[43]提出了一种基于体素的滤波方法。该方法将点云数据划分为不同分辨率等级的体素，以体素为单位通过与邻域体素的高程加权均值比较剔除植被点、保留地面点，从而获取森林地区的DEM。文献[44]介绍了机载LiDAR点云的体素剖分过程及其滤波应用。

分类方面，鲜见体素在机载LiDAR和摄影测量点云分类中的应用。但体素在车载LiDAR点云信息提取中有应用。文献[45]使用体素组织点云数据来提取点云中的树木。文献[46]使用体素基元来提取点云中的建筑物。鉴于体素能够很好地判别局部点云的共线、共面或球状分布的状态，文献[47]用体素基元来识别点云中的电力线点云。

目前，体素对机载LiDAR和摄影测量点云信息提取的适用性有限，它比较适合作为车载LiDAR点云信息提取的基元。

1.1.4 基于对象基元的信息提取

鉴于点云分割获取的对象可以增加信息提取精度、降低信息提取不确定性[48]的优势，面向对象的点云分析[49]方法以点云分割的对象(如图 1(d)所示)为基元进行信息提取。

滤波方面，已经有较多的面向对象的点云滤波方法，可参考文献[50—55]。而且，多数的面向对象的点云滤波方法是对基于点的滤波方法的改进。例如，前文已经介绍了渐进加密不规则三角网[10]、分层稳健线性内插[25]两种经典的基于点的滤波方法。文献[53]与文献[25]的原理相似、文献[55]与文献[10]的原理相似；但前者的基元均为对象、后者的基元均为点。试验表明，在滤波原理相似的情况，面向对象的点云滤波方法比基于点的滤波方法精度高，但面向对象的滤波方法更耗时[64]。

分类方面，文献[56]在面向对象的点云分类中做了开创性的工作。文献[49]首先提出了面向对象的点云分析概念，并将其应用于点云分类。文献[57]提取了对象的若干特征，使用SVM进行分类。文献[58—59]将面向对象的点云分析方法用于车辆提取, 该类车辆提取方法被文献[60]评价为“简单(simple)、高精度(sufficient accuracy)”。文献[61]使用对象的多回波比例特征区分建筑物和植被。文献[16]采用基于规则的分类方式，同时利用几何和光谱特征进行分层的摄影测量点云专题信息提取。

另外，面向对象的点云分析、面向对象的影像分析两种理论的发展也促进了面向对象的多源数据融合的信息提取。例如，文献[14]融合LiDAR点云和影像进行基于方位图的建筑物提取和三维重建；文献[62—63]集成机载LiDAR点云和影像进行地表覆盖制图；综述文献[22]列举了大量的融合点云与光学影像的信息提取方法。

目前，基于对象的点云信息提取方法方兴未艾。但该类方法信息提取效果严重依赖于点云分割的质量，且十分耗时。

1.1.5 融合多基元的信息提取

融合多基元的点云信息提取是一类崭新的方法，其原理是在信息提取的不同阶段使用不同类型的基元，或者采用多种基元以实现更优的提取效果。滤波方面，文献[64]提出了一种基于多基元的三角网渐进加密滤波方法，它包括点云分割、对象关键点提取(如图 1(e)所示)、基于关键点的对象类别判别3个主要阶段，且三阶段的基元分别为点、对象、关键点。文献[65]将原始的点云划定为两个子集：对象子集、孤立点子集，然后综合采用对象和点两种基元开展滤波和地形结构线提取。

分类方面，多基元融合分类方法开始涌现。例如，文献[66]首先采用体素组织点云，然后基于若干规则将体素合并为超级体素，最后对超级体素进行分类。在多基元融合的点云分类方面，文献[67]进行了富有成效的探索，提出基于多实体的点云分类方法，在分类的不同阶段使用不同的实体(点、平面对象、均值漂移对象)以实现更优的分类效果。文献[68]设计了一种基于指数的多层次点集结构，并利用SCLDA(sparse coding and latent dirichlet allocation)表达多层次点集特征，得到了较好的分类效果。

目前，融合多基元的点云分析方法刚刚崭露头角。由于多尺度的多基元结构能够充分顾及不同尺度空间的特性，采用多基元结构有利于提高分类识别的效果[69]。但是，该类方法缺乏相关理论框架的探讨，尤其是多数点云分割方法还无法实现点云的多尺度分割和多基元获取，这阻碍了融合多基元的点云信息提取的深入发展。

1.2 提取的点云特征

点云分类精度与特征有效性是密切相关的，高效构建有效的点云特征是提高点云分类效果的重要方面[69]。同时，特征与基元是密切关联的。已有的文献中，属于点和对象两种基元的特征较多，而其他类型基元的特征可以参考点或对象的特征。

常用的点基元特征包括：

(1) 高程及高程纹理特征。包括：点与点间相对高差[27]、归一化数字表面模型(normalized digital surface model，nDSM)高度、局部高程纹理特征[31]、弯曲能量[70]、数字表面模型的差分形态学剖面特征[71]。

(2) 几何形态特征。主要是基于局部邻接点集的主成分分析特征，即线性、平面性、球面型、各向异性等[31, 72]特征。对于局部邻接点集可以求取其水平和垂直投影特征[31]。另外，点到面的距离[10-11]、夹角[10-11]、点与点间坡度[26]也是常用的特征。

(3) 回波特征。涉及回波类型、首次尾次回波高差等特征[1]、回波率[87]。

(4) 反射强度和光谱特征[73]。

面向对象的点云分析中，对象的常用特征包括：距离地面的平均高度[67]、距离地面的最小高度[67]、距离地面的最大高度[67]、面积[57, 67]、平均点间距[67]、平面拟合残差[67]、对象倾角[57, 67]、矩形度[52]、狭长度[52]、紧致度[52]、多回波比例[61]、平均反射强度[57]等。

对于其他类型的基元，可以根据基元类型适当的修改相应的上述特征。比如，文献[68]不断地扩大尺度获取不同等级的局部邻接点集，进而可以求取多个等级的几何形态特征。

1.3 点云信息提取的特征选择和分类器

目前，点云信息提取中，常用的分类器涉及随机森林[30, 74]、支持向量机[57]、JointBoost[31]、Expectation Maximum[75]、条件随机场[76]、Neural Oscillator Network[77]、深度学习[78]、Adaptive Boosting(AdaBoost)[68]等。而且，随机森林[23, 30, 74, 87]和JointBoost[31]还常被用来进行特征的选择。

另外，点云信息提取中还涉及分层分类策略。例如，文献[67]进行基于规则的机载LiDAR点云分层分类。该方法首先区分地面点、非地面点；然后从地面点中分离出水体点；接着对非地面点进行分割获取平面对象进而识别建筑物屋顶、立面点，对剩余的点进行聚类识别植被点。

2 问题与挑战

目前，点云信息提取研究已经取得了显著的进展，但是也还存在诸多不足之处。主要的问题包括：

2.1 方法研究的理论性有待进一步提高，配套商业软件的功能有待进一步增强

在点云信息提取领域，尽管存在大量方法研究，但并未上升到理论或者范式的层次。另外，已有点云信息提取的商业软件是基于点基元的实现的，相关技术的理念已经十分陈旧、需要大量人机交互，尚未见使用其他类型基元的商业软件出现。目前，点云信息提取软件的水平依然严重滞后于硬件水平，已经成为目前激光雷达测量技术进步的最大障碍[72]。

2.2 缺乏融合多基元的点云分析理论、方法研究

如前所述，已有点云信息提取方法中涉及的基元包括点、剖面、体素、对象、关键点等，且后4种基元具有一定的共性，本质上是点基元的一种集合和再组织方式。但是，任何单一的基元都无法全面描述复杂的点云场景，需要融合多基元实现全息的点云分析。然而，融合多基元的点云分析刚刚兴起，对点云数据的多种类型基元的描述表达、多尺度分割、同一尺度不同基元的三维空间拓扑关系建立和描述、不同尺度基元的上下文关系建立和描述、多尺度特征提取和选择等核心问题还缺乏深入的研究。

2.3 缺乏点云分析的不确定性研究

点云数据是一种新颖的空间数据，不仅需要新的数据组织管理方法[79]，而且需要对点云数据信息提取过程进行机理上的分析。另外，空间数据及其处理和信息提取本身是具有不确定性的[80]。点云数据的精度、粗差、密度与地物类型、地物尺度、地物关联度等6个要素等对点云分析(尤其是多尺度点云分割和分类精度)具有很大的影响，但对相关不确定性分析缺乏定量的研究。

2.4 新机器学习方法的使用有待进一步深入

尽管经典的机器学习方法已经广泛应用于点云分析，但是机器学习领域最近几年有着突飞猛进的发展，尤其是深度学习的发展开启了又一轮人工智能热潮。目前，深度学习在影像分析与理解领域得到了深入研究和部分应用，但在点云分析领域却刚刚兴起。

2.5 缺乏高性能计算技术的应用

一方面，随着测量技术的提高，点云数据的密度越来越高，其数据量越来越大。同时，点云滤波、分割、特征提取等工作相当的耗时。另一面，计算机硬件的性能有了显著的提升、高性能计算技术有了飞速的发展，而点云本身数据获取的特点决定了其适合并行计算[41, 81]。尽管有少量点云并行方法的探索[41, 82-83]，但是目前多数的点云分析算法仍然未采用并行计算技术，这导致其效率仍然很低，且相关的高性能计算研究仍十分欠缺。

3 发展趋势

今后点云信息提取发展主要集中下述6个方面：

3.1 融合光谱与三维几何特征的点云将成为信息提取的热点数据源之一

机载多光谱LiDAR系统能够同时获取地表面上地物的表面几何和光谱数据，其获取的数据能够保证光谱与空间几何数据在空间和时间上相对完整和一致性。例如，加拿大Optech公司的Titan机载多光谱LiDAR系统包括3个独立的主动波束(成像通道)：532、1064和1550 nm，且这3个成像通道的激光脉冲在相同的震荡镜像上有3.5°偏转角的间隔。因此，该系统可提供3个独立点云，且经过后续处理可获得携带多光谱信息的点云。从数据源的角度展望，机载多光谱LiDAR点云将成为未来一段时间研究的热点数据源之一。

3.2 多尺度多层次点云分割

点云数据中往往包含地面、建筑物、树木、电塔等不同类型的、不同尺寸的、具有不同几何特性的目标，为了实现海量点云的快速、高精度、自动化的模型重建，点云数据的高效、高精度分割是其中非常重要且关键的环节。可靠高效的进行点云分割，不仅能够降低数据冗余、提高点云数据的信息提取效率，而且还能为目标的三维重建提供可靠的数据。然而，目前的点云分割普遍存在过分割、欠分割、效率低、分割尺度单一的问题。从分割方法的角度展望，多尺度多层次点云分割方法亟待研究。

3.3 基于深度学习的点云信息提取

模式识别领域的研究表明，好的特征可以极大提高模式识别系统的性能。传统的模式识别过程中，手工设计的特征处于统治地位。这些特征主要依靠设计者的先验知识；另外，手工设计出有效的特征是一个相当漫长的过程。另外，传统的模式识别方法由于依赖手工调参数，特征的设计中只允许出现少量的参数。文献[84]认为，深度学习与传统模式识别方法的最大不同在于它是从大数据中自动学习特征，而非采用手工设计的特征；同时，深度学习可以针对新的应用从训练数据中很快学习得到新的有效的特征；并且，深度学习自动学习特征中可以包含成千上万的参数。2017年，文献[85]提出了基于深度学习、集成学习框架的高分辨率遥感图像语义标注方法，该方法在国际摄影测量与遥感学会基准数据测试中获得了最高的分类精度。然而，深度学习在点云信息提取中的研究才刚刚开始[86]，亟待深入研究和应用。

3.4 基于迁移学习的点云信息提取

经典的机器学习方法假设训练数据与待分类数据的分布是一致的。因此，在使用经典机器学习方法进行分类时，只有训练数据和待分类数据具有基本一致特征时，才能达到较好分类效果。但是自然界场景千变万化，同一场景随着时间的推移也在发生变化。这严重限制了机器学习在点云信息提取中的广泛推广和应用。目前，迁移学习[88-89]正在寻找一种能在不同场景中可扩展的类别区分算法，它在点云信息提取中亦有广泛的应用潜力。

3.5 海量点云数据并行处理

并行计算的模式有很多种，可以单机并行，也可以集群并行；可以将任务分解并行，也可以将数据分解并行。点云并行算法的设计可以对数据进行划分, 也可以对算法本身的计算过程进行并行化改造。另外，点云数据信息提取算法复杂多样，不同算法的并行化设计其结果也不尽相同。因此，针对不同的数据处理任务研究特定的并行算法，或者对特定算法进行并行化设计是点云高性能信息提取的主要任务。

3.6 融合多基元的点云分析范式

“融合多基元的点云分析范式”是对面向对象的影像分析范式在点云信息提取领域的延伸和拓展。它将充分利用点云数据的几何、光谱、形状、纹理、反射强度、回波等特征，主要围绕融合多基元的逐层分类框架设计、多尺度点云分割和多基元获取、融合多基元的特征提取和选择、融合多基元的模式分类，并行计算等关键方法开展系统的研究，并结合典型场景的点云分析开展信息提取的不确定性分析。

4 结语

点云是目前摄影测量和遥感领域常见的数据源之一，信息提取是点云应用的必经步骤。经过20多年的发展，点云信息提取研究已经取得了长足的进展，提出了大量的滤波和分类方法、且部分方法已经被业界广泛应用。但是如何充分挖掘点云的潜力，并从点云数据中快速、高精度地提取更多的信息仍然亟待研究。本文主要围绕机载LiDAR和摄影测量点云的滤波、分类、典型目标识别涉及的信息提取方法进行了系统的总结和归纳，指出了存在的主要问题和发展趋势，并着重提出了“融合多基元的点云分析范式”，以期促进点云信息提取的研究和应用。

【引文格式】张继贤，林祥国，梁欣廉。点云信息提取研究进展和展望[J]. 测绘学报，2017，46(10)：1460-1469. DOI: 10.11947/j.AGCS.2017.20170345

更多精彩内容：

学术前沿| 单杰：从专业遥感到大众遥感

学术前沿| 孙中苗：VLBI全球观测系统(VGOS)研究进展

学术前沿| 党亚民：区域地质环境稳定性大地测量监测方法及应用

论文推荐| 孟立秋：地图学的恒常性和易变性

学术前沿| 陈锐志：基于智能手机的室内定位技术的发展现状和挑战

院士论坛| 龚健雅：高分辨率光学卫星遥感影像高精度无地面控制精确处理的理论与方法

院士论坛| 张祖勋：谈大数据时代的“云控制”摄影测量

学术前沿| 朱庆：倾斜摄影测量三维精细建模

院士论坛| 高俊：图到用时方恨少, 重绘河山待后生——《测绘学报》60年纪念与前瞻

学术前沿| 杨必胜：大规模三维点云智能处理与应用