土耳其、叙利亚地震，如何利用多光谱成像搜寻“被困人员”？|双胞胎兄弟|叙利亚|土耳其|地震|多光谱成

西班牙马德里理工大学Christyan Cruz Ulloa研究团队开发了一种多光谱成像和人工智能相结合的自主机器人系统，该系统能够在坍塌的建筑物和难以进入的灾后环境中搜寻被困人员。相关研究以“Autonomous victim detection system based on deep learning and multispectral imagery”为题发表在《Machine Learning: Science and Technology》期刊上（DOI 10.1088/2632-2153/acb6cf）。

土耳其、土耳其南部靠近叙利亚边境地区发生强烈地震，据土耳其和叙利亚的政府及救灾机构公布的数据，强震已造成两国超过2.8万人遇难。电子技术和感知技术的进步使得功能强大的光学传感器能够捕捉人类捕捉不到的光谱，该技术应用于助力灾后搜救工作。

安装多光谱摄像头(顶部银色部分)的四足智能搜寻机器人

该系统使用了一个MicaSense公司开发的Altum多光谱相机，尺寸为0.82 m×0.67 m×0.67 m、重量为357 g，可在五种波长下工作（红、绿、蓝可见光；近红外；还有红边灯）。该摄像机安装在一个遥控四足机器人上，可以部署在倒塌的建筑物等危险环境中，研究结果表明，自动检测受害者的效率可达92%。

这项研究是作为TASAR项目(先进搜索和救援机器人团队)开发的，该项目的重点是使用地面搜索和救援(SAR)机器人进行援助和救灾。

图1：机器人系统开发所使用的材料。为采集数据，创建了两种灾后场景(室内和室外)(图1(b))。数据采集使用远程操作的四足机器人，并固定Altum摄像机(室外图1(c) -室内图1(d))。图像周期性地存储在内存中，周期为1秒。

调整捕获的多光谱图像

Python和OpenCV库已用于图像处理。图2(a)显示了Altum相机在灰度范围内捕获的多光谱波段示例，像素强度范围为[0-255]。图2(b)和(c)中的图像是相机的RGB重叠的结果。一些关键点或特征点用于执行校正参数(图2(d))。

图2:经过调整和未经过调整的数据集图像示例。

图3：显示了在室内和室外场景中的相应应用。常用的NDVIIndex、GNDVI Index、OSAVI Index 、SIPI Index指标作为识别被困人员的周围环境的信息检测。

图4：显示了两张包含裸露躯干的被困人员图像的标记过程，使用Roboflow标记。

卷积神经网络（CNN）

CNN是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。

一旦研究小组确定了一个适用于在废墟背景下进行室内和室外人员识别的指标，下一步就是训练开发几个卷积神经网络(CNN)来识别废墟中的人体形态，例如躯干、头部和手。研究人员随后比较了不同CNN的效果。这使得他们能够为这个应用程序选择最好的CNN——一个名为YOLOv5m的CNN。

研究人员随后将他们的原型技术与之前的系统进行了比较，后者倾向于使用红-绿-蓝或红外成像来定位受害者。他们得出的结论是，他们的多光谱系统在室内和室外环境中定位人时具有更大的通用性。

图5:YOLOv5模型的评估。YOLOv5的四种型号根据尺寸(小、中、大、xl)分别称为“s”、“m”、“l”和“xl”。

图6:6-10指标的被困人员与环境的相对差异。

图7(a)显示了所选CNN模型和用InV d生成的图像的混淆矩阵，对最佳模型(YOLOv5m)进行评估，并用于推理。(b)显示了精度-召回率曲线，其中精度在平均值为0.81时下降。这条曲线在它的区域下包围了大量的区域，接近所有类别的矩形，除了“手”之外。

图8显示了对新图像的检测结果。不同颜色的包围框被放置在已确认的被困人员的部分。标记和检测百分比[0-1]与包围框一起放置。

图8：用Index 8检测后处理图像中不同环境下的被困人员。

图8(a)和(b)显示了室外场景。第一个案例对应的被困人员躯干被遮盖，她的腿被正确识别到，效率超过92%。在第二个案例中，一名受害者的腿被碎石覆盖。头部，躯干，受害者和手被正确识别到。在这些类别中，最容易辨认的是头部和躯干。(c)和(d)对应于室内场景。在第一个案例中，一个被遮盖的受害者显示在躯干区域。在这种情况下，所有平均检测效率为89%且错误对应“Hand”的标签都被识别出来。第二个案例显示了类的正确识别，平均效率大于91%。

与以往检测方法的比较

图9显示了检测受害者时可能出现的潜在情况的径向比较，这些情况以百分比进行了评估。

图9:将所提出的方法(多光谱)与其他用于被困人员检测的最先进方法(Thermal和RGB)进行比较。

这项研究证明了基于多光谱相机捕获的不同光谱波段组合的多光谱图像在检测被困人员方面的有效性。

选择的卷积神经网络模型为YOLOv5m，因为它为分析中使用的数据集和所选参数提供了最佳的精度值。

因为图像的大小仍然很复杂，在未来的研究中，建议实时研究该执行过程，优化捕获和图像大小，在探索者SAR机器人上的执行处理，并在检测到被困人员时发出预警，为生命带来希望！

夜空中最亮的“星”！浙江制造照明无人机点亮土耳其地震救援现场。点亮的不止是黑夜，更是希望！有人用无人机“杀人”，有人用无人机“救人”！把光明带到世界各地，这就是中国温度。

据长三角G60激光联盟秘书处了解，2022年我国曾经开展了“激光位移监测仪辅助地震坍塌搜救有效保障消防救援人员作战安全”。

激光位移监测设备已配备到武威市消防救援支队地震救援专业队一线，并逐步推广至全省轻型、重型地震救援队，将进一步提升消防救援队伍在地震、坍塌、爆炸等危险现场开展救援行动的紧急避险能力。

监制|达德文　校审|贺启军文字|导调组图片|新闻组

编辑|张晓帆甘肃消防全媒体中心发布

论文链接：