北京理工大学刘少丽副教授团队：基于深度学习的条纹投影轮廓技术无效点去除方法|CJME论文推荐|刘少丽|北京理工大学|实验|条纹|算法

引用论文

He, N., Huang, J., Liu, S. et al. Deep Learning-Based Invalid Point Removal Method for Fringe Projection Profilometry. Chin. J. Mech. Eng. 37, 142 (2024). https://doi.org/10.1186/s10033-024-01095-5

(戳链接，下载全文)

关于文章

研究背景及目的

条纹投影轮廓技术（FPP）以其高精度和高速度被广泛应用于工业领域的非接触式三维测量。点云作为 FPP 系统的测量结果，通常包含大量由背景、环境光、阴影和物体边缘区域引起的无效点。在过去的二十年里，有关噪声点检测和消除的研究一直在进行。然而，现有的无效点消除方法都是基于图像强度分析，仅适用于纯暗的简单测量背景。本文提出了一种新的无效点去除框架，包括两个方面：(1)设计了一个卷积神经网络（CNN），用于从 FPP 测量环境中不同强度条件的背景中分割前景，以去除背景点和背景区域中的大部分离散点。(2) 提出了一种基于边缘图像强度阈值和双边滤波器的两步法，以消除背景分割后剩余的少量离散点，这些离散点是由物体上的阴影和边缘区域引起的。实验结果验证了所提出的框架：(1)能在各种复杂情况下智能、准确地去除背景点；(2)在物体区域离散点检测中表现出色。

试验方法

我们在 FPP 系统中提出了一种基于深度学习的边缘图像背景点分割方法，以去除了不同工业场景中的背景。此外，我们还提出了一种基于边缘图像和高度图的两步算法来去除离散点，从而检测出阴影和边缘区域造成的无效点。具体方法如下：

(1)对于背景点，利用深度学习对边缘图像进行调制，自动识别物体区域，然后生成兴趣区域（ROI）掩码，去除复杂背景区域中的背景点和最离散的点。

(2)对于物体区域内的少量离散点，可通过两个步骤分别剔除由阴影和边缘区域引起的无效点。首先，提出一种基于边缘图像的简单阈值方法来剔除阴影区域的点。其次，由于解包相位图的单调性会导致过度平滑，因此提出了在高度图上使用双边滤波器来剔除环境光和边缘区域造成的离散点。在这一步骤中，利用了在(1)中生成的 ROI 掩膜。

结果

对于背景点去除方法，为了验证我们提出的方法的分割准确性，我们使用 mIoU（mean Intersection over Union，交并比）来表示网络和其他方法的整体准确性。三种方法分割结果的 mIoU 如表 1 所示。实验设置了三度颜色的背景板，并随机放置了一些杂物。我们用三种方法计算了三种背景条件下的 mIoU。可以看出，在黑灰背景下，三种方法都达到了较高的分割精度。但是，Zhang 方法和 K-means 方法的 mIoU 都低于我们提出的方法，这是因为背景区域中的杂物被错误地分割成了物体。而在白色背景下，Zhang 方法和 K-means 方法的 mIoU 远远低于我们提出的方法，因为整个背景板都被分割为对象区域，这在很大程度上影响了分割精度。

表1 三种方法的交并比

我们进行了整体测试实验，以综合测试我们提出的方法，尤其是基于深度学习的背景移除方法的鲁棒性和泛化能力。如图 1(a) 所示，为了测试训练网络的物体识别能力，我们在图 1 右侧的背景区域放置了一个在网络训练集中没有出现过的金属罐。图 1(b) 是相应的解包相位图，可以看出阴影区域、罐子区域和没有投影仪光线的区域存在随机噪声。图 1(c) 是经过训练的网络的预测结果，它正确地将目标物体从背景中分割出来。图 1(d)和图 1(e)显示了我们提出的方法和Wang的方法的点云图结果。虽然Wang的方法清除了金属罐和其他区域的随机噪声，但金属罐区域并没有被分割为背景并清除。相比之下，我们提出的框架在背景分割和离散点去除方面都表现出色。

图 1 整体测试效果图

结论

本文采用了深度学习中的语义分割技术，将物体区域从背景和其他杂物中分割出来。采用基于边缘强度阈值和双边滤波的两步法消除阴影和边缘区域产生的离散点。经过实验验证，我们提出的算法具有以下优势：(1)我们提出的框架有较好高的可行性和鲁棒性，它能完全消除不同背景情况下的背景和随机噪声，(2)我们提出的基于深度学习的方法在不同背景环境下具有出色的背景消除性能。

前景与应用

面结构光三维测量因其具有非接触、全场测量、低成本等众多优点，成为三维测量技术领域中一个具有代表性的技术。基于面结构光照明的相位辅助三维测量技术采用条纹编码结构光照射到被测物体表面，物体形貌对结构光进行调制，使结构光的图案发生相应的形变，即结构光对物体进行了编码，通过系统标定和条纹分析等技术可以从采集的图像信息中解调出物体的三维数据，具有测量精度高、数据密度大、普适性、灵活性等优点。目前，面结构光三维测量技术在医疗卫生、古文物修缮、工业零件检测和目标识别等领域都有着广泛的应用。

相关文章/图书推荐

[1] Jinfeng Gao, Fengyuan Wu, Cheng Cheng, Chengbai Wu, Yangfan Zhou, A Markov random field based method for removing invalid unwrapping phase points in 3D reconstruction. IET Image Process. 17, 3477–3487 (2023)

[2] Xiaolong Luo, Wanzhong Song, Songlin Bai, Yu Li, Zhihe Zhao, Deep learning-enabled invalid-point removal for spatial phase unwrapping of 3D measurement, Optics & Laser Technology, Volume 163, 2023.

[3] Wenbin Deng, Byeong-Mook Chung, Optimal pulse width modulation technique combined with stair phase-coding method for absolute phase retrieval with projector defocusing, Optics Communications, Volume 437, 2019, Pages 193-198.

[4] Xiaoyu He, Qian Kemao, A comparison of n-ary simple code and n-ary gray code phase unwrapping in high-speed fringe projection profilometry, Optics and Lasers in Engineering, Volume 128, 2020.

[5] Kaifeng Zhu, Xin He, Yi Gao, Ruidong Hao, Zhonghui Wei, Bing Long, Zhiya Mu, Jun Wang, Invalid point removal method based on error energy function in fringe projection profilometry, Results in Physics, Volume 41, 2022.

关于作者

作者团队介绍

刘少丽，2012年获得清华大学机械工程博士学位，目前于北京理工大学机械与车辆学院担任副教授、博士生导师，研究方向包括机器视觉、在线测量、深度学习、精密装配。

何楠，北京理工大学博士研究生，北京卫星制造厂有限公司研究员，研究方向：视觉测量、面结构光。

黄嘉淳，北京理工大学硕士研究生，研究方向：视觉测量、相机标定。

团队研究方向

面结构光、虚拟装配、图像处理

近年团队代表性文章

[1] Z. Jian, S. He, S. Liu, J. Liu and Y. Fang, "A Multiple Species Railway Defects Detection Method Based on Sample Generation," in IEEE Transactions on Instrumentation and Measurement, vol. 73, pp. 1-14, 2024.

[2] S. He, Z. Jian, S. Liu, J. Liu, Y. Fang and J. Hu, "PCSGAN: A Perceptual Constrained Generative Model for Railway Defect Sample Expansion From a Single Image," in IEEE Transactions on Intelligent Transportation Systems.