摘要：梳理遥感卫星视频单目标跟踪技术的研究进展，分析现有方法的优缺点，并探讨未来发展方向。通过文献调研与对比分析，系统总结了近五年国内外在该领域的研究成果。将现有方法分为基于相关滤波和基于深度学习两类，分别分析其技术特点与性能。结合公开数据集，对代表性方法的跟踪精度进行了对比评价，并探讨了不同方法的适用性与局限性。实验结果表明，基于相关滤波的方法在计算速度与跟踪精度方面表现优异。在公开的SatSOT数据集上，其跟踪精确率最高可达到69.8%,平均帧率超过30 frame/s,展现出较强的实用性与实时性。这类方法通过利用目标的表观特征和运动信息，能够在较低计算成本下实现高效跟踪，尤其适用于资源受限的星载平台。相比之下，基于深度学习的方法在特征表达和复杂场景适应性方面具有显著优势，但由于遥感领域缺乏大规模标注数据，其在相同数据集上的最高跟踪精确率目前为66.9%,低于相关滤波方法。总结了遥感卫星视频单目标跟踪的研究进展，相关滤波方法成熟且实时性强，适用于当前任务；深度学习方法潜力巨大，是未来重要方向。因此未来研究需聚焦高性能深度学习目标跟踪方法及其实时性能优化。
01
引言
本文从目标跟踪两种不同的主流技术路线出发，详细介绍了卫星视频目标跟踪方法的研究进展和现状，对不同技术路线的代表性目标跟踪工作进行了对比分析。介绍了卫星视频目标跟踪的公开数据集并对比了各类代表性方法的目标跟踪精度。最后对国内外研究当前存在的问题和未来的发展方向进行了分析和展望。
02
遥感卫星视频目标跟踪方法
如图1所示，视觉目标跟踪技术目前的研究可以分成两类：第一类是基于相关滤波(Correlation Filter)的方法；第二类是基于深度学习的方法。相关滤波类算法精度较高、运行速度快、计算量小且能在CPU设备上实时运行；深度学习算法精度高，然而计算量较大且在GPU设备上才能实时运行。因此本文主要从相关滤波与深度学习两方面展开介绍。
图1 卫星视频目标跟踪方法汇总
图2 相关滤波与深度学习方法的对比概述
03
目标跟踪精度评估与公开数据集
当前公开的遥感卫星视频目标跟踪数据集主要为SatSOT 与OOTB。
深度学习方法在遥感卫星视频中落后于相关滤波方法的深层原因主要包括以下几点：
目标特征微弱：卫星视频中的目标通常具有较低分辨率和较少的纹理特征，深度学习方法依赖的高维特征难以有效提取。这使得深度模型在该场景下特征表征能力不足，易出现混淆目标和背景的情况。
标注数据不足：深度学习模型通常需要大规模标注数据进行训练，而卫星视频目标跟踪任务中可用的数据集较少且场景复杂，导致深度学习模型在训练中容易过拟合，难以泛化到测试场景。
域差异问题：现有深度学习方法通常针对自然图像优化，缺乏对卫星视频中特殊目标(如低对比度、小目标等)的专门适配，直接迁移时性能受限。
综上所述，如何设计适用于卫星视频场景的高效深度学习跟踪网络，提升对弱小目标特征的提取能力，解决域适配和数据不足等问题，是未来亟需解决的重要研究方向。
图3和图4给出了SatSOT数据集和OOTB数据集中五种跟踪算法的跟踪可视化结果图。从图中可以看出，对于发生遮挡的目标，DOPCF与CPKF均可有效地跟踪上，而SiamFC++,ECO,SiamRPN++均在目标发生遮挡后跟踪失败，主要原因是目标发生遮挡后外观特征消失，而SiamFC++,ECO和SiamRPN++均只利用了目标的外观特征，因此在遮挡时跟丢了目标。DOCPF和CPKF不仅仅利用了目标的外观特征，还使用了目标的运动特征，因此在目标发生遮挡后仍能持续稳定地跟踪目标。除此之外，从图中也可看出，DOPCF具备非常优秀的抗干扰能力，对于干扰目标众多的复杂场景仍能够有效地跟踪指定目标。
图3 SatSOT数据集跟踪可视化结果
图4 OOTB数据集跟踪可视化结果
04
存在的问题和未来展望
通过前文对遥感卫星视频目标跟踪方法以及相关工作的梳理和总结，可以看出，卫星视频目标跟踪的主流方法主要为基于相关滤波的方法与基于深度学习的方法。尽管国内外学者已经提出了许多遥感图像目标跟踪方法，但仍存在许多问题亟需进一步解决。以下从五个方面对当前问题进行总结，并提出未来的研究方向：
1) 研发高性能的深度学习目标跟踪方法
由于卫星视频中的目标尺寸非常小，特征较为微弱，当前大量先进的深度学习方法难以取得优越的性能。从实验结果可看出，目前表现性能较好的方法主要还是相关滤波类方法，而在自然图像中大放异彩的Transformer类跟踪方法性能极低。这种性能下降原因我们认为主要包括以下几点：首先，Transformer类方法依赖丰富的上下文信息来构建全局表示，但卫星视频中的小目标提供的信息有限，特征表达能力不足；第二，Transformer倾向于捕获显著区域，但在背景复杂或干扰目标较多的情况下，容易混淆目标和背景；第三，大多数Transformer方法在自然图像数据集上预训练，而遥感图像的分布和特征明显不同，导致性能无法充分发挥。
未来研究可从以下方向改进：首先，设计对小目标特征的适配模块，增强模型对弱小目标特征的提取能力；第二，引入目标与背景分离机制，通过先验知识或注意力约束，提升模型在复杂背景下的判别能力；第三，开展跨领域迁移学习研究，结合遥感图像的特性优化预训练策略，提升Transformer类方法的适配能力。
2) 构建大规模遥感图像目标跟踪训练数据集
当前的深度学习方法大部分都是在自然图像中训练的，主要原因在于缺乏大规模的遥感图像目标跟踪训练数据集。然而，遥感图像与自然图像的数据分布存在较大的差异，跟踪器只在自然图像中训练难以取得适配遥感图像的模型，因此亟需构建大规模遥感图像目标跟踪训练数据集。
未来数据集的构建需关注以下特点：首先，数据集应该涵盖不同的分辨率、气候条件、目标种类和背景复杂度；第二，支持旋转框跟踪、小目标跟踪任务；第三，推动学术界共享标注数据集，加速遥感领域深度学习目标跟踪研究的进展。
3) 研发多源数据融合的目标跟踪方法
当前的方法主要是针对可见光图像所设计的，然而在成像条件恶劣，如云雾天气时，目标难以探测得到。而合成孔径雷达(SAR)图像具有穿透云层和烟雾的能力，可提升恶劣天气下的目标探测性能；红外图像对夜间或低光照条件下的目标具有良好的表现。因此，可考虑将SAR图像或者红外图像与可见光图像进行结合，开展多源数据融合的目标跟踪方法研究，实现全天时、全天候条件下的目标跟踪。
4) 研发高精度轻量化的深度学习目标跟踪网络
当前大部分的跟踪网络层数较深，参数量和计算量较大，难以在计算资源较少的边缘设备上实时运行。因此亟需开展高精度轻量化的深度学习目标跟踪网络的研究。
未来研究可从以下方向出发：第一，通过剪枝、量化和知识蒸馏技术减少模型复杂度，提升推理效率；第二，设计高效的注意力机制和特征提取模块，减少计算开销；第三，根据场景需求动态调整模型复杂度，实现计算资源的灵活分配。
5) 研发长时目标跟踪方法
当前的跟踪方法能有效地解决短时遮挡的问题，然而难以解决长时遮挡比如目标离开视野后的情况。长时遮挡时需要全图搜索目标，在尺寸巨大的遥感图像中搜索目标不仅极大地耗费计算资源，且极易被干扰目标所影响，因此亟需研发有效地长时目标跟踪方法。
未来研究可从以下方向出发：第一，结合局部跟踪与全局搜索策略，仅在必要时触发全图搜索以降低计算开销；第二，通过时空关系建模，增强模型对长时运动轨迹的预测能力；第三，利用场景中其他目标的运动信息，推断目标可能的位置范围。
05
结论
卫星视频目标跟踪技术近年来在算法精度上取得了显著进展，但在成功率和精确率等关键性能指标上仍有较大的提升空间，尤其是在复杂场景中的鲁棒性表现仍需加强。
当前研究表明，基于相关滤波的目标跟踪方法以其较高的实时性和效率，在卫星视频目标跟踪任务中表现出色；而基于深度学习的方法虽然具备显著的提升潜力，但由于缺乏大规模遥感图像目标跟踪训练数据集，其性能尚未充分发挥。
卫星视频目标跟踪方法仍面临多方面挑战，包括大规模遥感图像训练数据集的缺失、跟踪网络的计算量和参数量过大、轻量化设计不足，以及网络模型精度在复杂环境中的适应性问题。
本文的梳理和总结为研究人员提供了国内外卫星视频目标跟踪技术的全面视角，有助于在未来研究中聚焦当前存在的问题和技术瓶颈，推动相关领域的发展。
未来研究可重点关注以下方向：构建高质量的大规模遥感图像目标跟踪数据集，研发高精度轻量化跟踪网络，探索多模态数据融合方法，以及提升算法在复杂环境中的鲁棒性和适应性，以更好地支持卫星视频的充分利用和信息高效获取。
来源：中国空间科学技术 转自：测绘学术资讯
热门跟贴