全文1591字，预计阅读时间3分钟

原创 | 张 尹

编辑 | 吕嘉玲

基于视觉的无人机检测方法可以分为两种：基于深度学习和基于运动信息的无人机检测方法。其中，基于深度学习的检测方法利用了无人机的外观信息，基于运动信息的检测方法利用了帧间的差异性来检测运动的无人机目标。如何对比不同的检测方法在精度和速度上的差异呢？由于目前在无人机检测领域还没有出现一个公认的数据集便于研究者们进行对比实验，因此本文将着重介绍与无人机检测与跟踪相关的数据集。

构建无人机数据集存在以下几个难点。1）随着深度学习的发展，越来越多的人关注在算法的创新上，但是由于无人机同日常生活中随处可见的物体不同，想要获取其数据需要专门准备不同外形的无人机进行采集，对拍摄地点也有要求，这造成了无人机数据获得的难度；2）无人机检测以其独特的问题逐渐成为一个研究领域。相较于其他目标来说，无人机目标存在丰富的尺度变化。远近距离的探测都十分必要，因此需要采集不同尺度下的无人机数据；3）无人机检测可以分为地对空检测和空对空检测两种，视角的转换带来不同的检测难度。数据集内是否包含各种姿态下的无人机，是影响无人机检测的因素之一；4）背景的多样性对于提高无人机检测的泛化能力显得至关重要，因此需要在不同的环境下收集数据。单一环境下采集的无人机数据会使检测算法无法直接应用到复杂多变的现实环境中去。

随着无人机检测与跟踪研究的深入，出现了越来越多的无人机数据集。本文将根据不同无人机数据集的特点进行对比和介绍。按照数据的类型可以将无人机数据集分为图片和视频两种类型，分别适用于无人机检测和跟踪两个任务。

基于图片的无人机数据集主要有Real World数据集[1]、Det-Fly数据集[2]、MIDGARD数据集[3]、USC-Drone数据集[4]等，如图1所示。这四个数据集分别包含56821、13271、8775和18778张图片，各自的分辨率分别为640*480、3840*2160、752*480、1920*1080个像素。

图1 无人机检测数据集
打开网易新闻 查看精彩图片
图1 无人机检测数据集

相较于其他无人机数据集而言，Real World数据集包含最多类型的无人机和环境，图片分辨率较低，因为其所有数据均是从Youtube视频上获得，而其他的数据集则是通过研究者自行采集得到。由于拍摄视角的限制，Real World数据集中大部分数据处于平视和仰视情况下，这意识着对于俯视视角下无人机检测的局限性。Det-Fly数据集克服了单一视角下无人机数据的缺点，相机直接在空中对于目标无人机进行采集，包含了仰视、俯视和平视下多种无人机姿态。但是数据集内仅包含一种类型的无人机，使其模型无法用于其他类型无人机的检测。MIDGARD数据集和USC-Drone数据集同样也仅包含一种类型的无人机和较为丰富的环境，同样存在拍摄视角单一的缺点。

基于视频的无人机数据集主要包含Purdue数据集[5]、Flying Objects数据集[6]、Anti-UAV数据集[7]、Drone-vs-Bird数据集[8]和DroneDetection数据集[9]等，如图2所示。

图2 无人机跟踪数据集
打开网易新闻 查看精彩图片
图2 无人机跟踪数据集

其中Purdue数据集中包含50个视频，为固定在空中无人机上的相机在较高的飞行速度下对三架目标无人机拍摄获得。该数据集中无人机和环境单一，不太适合用于无人机检测任务，更适合对于小目标无人机跟踪问题的研究。Flying objects数据集中包含14个视频，其数据集内全部为灰度图，适合于研究如何跟踪快速移动的目标。Anti-UAV数据集包含RGB数据和红外数据，便于多模态融合跟踪的研究。但是存在的问题是拍摄环境单一，且红外相机和RGB相机在时间和空间上没有对准。Drone-vs-Bird数据集内除了囊括了丰富的无人机和环境数据外，还包含了部分鸟类数据。当无人机距离较远时，从外观上和鸟类较为相似。因此，该数据集的出现可以帮助研究者进行远距离无人机和鸟类辨别问题的研究。DroneDetection数据集包含了114个无人机视频，但是其环境拍摄较为单一，因此更适合跟踪问题的研究。

综上，以上无人机数据集有着各自的优势和缺点，往往只克服了构造无人机数据集的一到两个难点，无法覆盖到影响无人机检测的四个关键因素。为了能够便于研究者对于无人机检测与跟踪的问题开展更深入的研究，迫切地需要一个业界公认的无人机数据集的出现，克服上述无人机数据集的缺点，进而引领无人机检测领域的发展。同时也欢迎大家继续关注我们关于无人机数据集的工作。

参考文献

[1] Pawełczyk Maciej, et al. "Real world object detection dataset for quadcopter unmanned aerial vehicle detection." IEEE Access 8 (2020): 174394-174409.

[2] Zheng Ye, et al. "Air-to-air visual detection of micro-uavs: An experimental evaluation of deep learning." IEEE Robotics and Automation Letters 6.2 (2021): 1020-1027.

[3] Walter Viktor, et al. "On training datasets for machine learning-based visual relative localization of micro-scale UAVs." 2020 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2020.

[4] Chen Yueru, et al. "A deep learning approach to drone monitoring." 2017 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC). IEEE, 2017.

[5] Li Jing, et al. "Multi-target detection and tracking from a single camera in Unmanned Aerial Vehicles (UAVs)." 2016 IEEE/RSJ international conference on intelligent robots and systems (IROS). IEEE, 2016.

[6] Rozantsev Artem, et al. "Detecting flying objects using a single moving camera." IEEE transactions on pattern analysis and machine intelligence 39.5 (2016): 879-892.

[7] Jiang Nan, et al. "Anti-UAV: A large multi-modal benchmark for UAV tracking." arXiv preprint arXiv:2101.08466 (2021).

[8] Coluccia Angelo, et al. "Drone vs. bird detection: Deep learning algorithms and results from a grand challenge." Sensors 21.8 (2021): 2824.

[9] Svanström Fredrik, et al. "Real-time drone detection and tracking with visible, thermal and acoustic sensors." 2020 25th International Conference on Pattern Recognition (ICPR). IEEE, 2021.

本文由西湖大学智能无人系统实验室博士生张尹原创，

申请文章授权请联系后台相关运营人员，未经授权不得转载。

END

我们的知乎

空中机器人前沿

点击下方卡片，关注空中机器人前沿