CVPR-2026 | RGB+热成像+事件相机三位一...|cvpr|rgb|相机|算法|配准

来源：市场资讯

（来源：无人机）

✨导读：无人机已广泛应用于安防巡检、交通监测、夜间巡逻等场景，但单一视觉传感器极易受光照变化、运动模糊、环境杂波干扰。本篇CVPR2026论文创新性提出三模态融合Transformer检测框架，将RGB、长波红外热成像、事件相机三类传感器深度结合，自研双模块实现高效跨模态交互，还搭建了业内首个同步配准的三模态无人机数据集。经过61组对照实验充分验证，该方案远超传统双模态算法，同时提供轻量化与高性能多种选型，兼顾科研与工程落地需求。

作者：Craig Iaboni, Pramod Abichandani
单位：新泽西理工学院
论文标题：Tri-Modal Fusion Transformers for UAV-based Object Detection
论文链接：https://openaccess.thecvf.com/content/CVPR2026/papers/Iaboni_Tri-Modal_Fusion_Transformers_for_UAV-based_Object_Detection_CVPR_2026_paper.pdf
代码链接：https://github.com/radlab-sketch/trimodal-uav-det

研究背景：无人机视觉检测的行业困境

如今消费级、工业级无人机在城市安防、电力巡检、路面车辆监测、夜间应急等领域落地普及，视觉目标检测是其核心感知能力。但在真实飞行场景中，没有任何一款单一传感器能做到“全场景通用”，同时现有技术方案也存在诸多短板：

1. 三类主流传感器各有短板，无法独当一面

RGB可见光相机：日常画质清晰、纹理丰富，但弱光、夜间、逆光、高速运动场景下画面失真、特征丢失，检测精度断崖式下跌；
长波红外热成像（LWIR）：不受光照影响，夜间探测能力极强，可捕捉物体热辐射，但无人机快速机动时容易出现画面饱和、模糊，还会受环境热杂波干扰；
事件相机：以微秒级速度捕捉动态边缘，对运动目标敏感度拉满，适合高速飞行场景，但输出数据稀疏、自带噪声，无法单独完成完整目标检测。

三类传感器优势互补、缺陷互避，理论上结合使用能实现全场景覆盖。

2. 现有多模态方案局限重重

目前业内研究基本停留在双模态融合（RGB+热成像 / RGB+事件相机），仅适配单一工况：比如RGB+热成像主打夜间检测，RGB+事件相机侧重高速运动场景。始终没有一套统一架构整合三类模态，无法应对光照剧变、平台抖动、大气干扰、热杂波等无人机综合复杂环境。

同时，三类数据特性天差地别：RGB靠纹理、热成像靠辐射对比度、事件流是异步时序信号。传统“早期通道拼接”“晚期特征合并”的融合方式完全无法适配其差异；而热门的Transformer网络，也一直缺少融合位置、融合机制的系统性对比研究。

3. 行业数据空白，制约技术发展

想要研究三模态融合算法，必须依托时间同步、空间配准、联合标注的数据集。但此前全球范围内，没有专门面向无人机的RGB-热成像-事件三模态标注数据集，导致相关研究难以开展标准化对比和验证。

基于以上三大痛点，本文团队从算法架构、融合模块、数据集构建、大规模实验验证四个维度出发，打造一套完整的三模态无人机目标检测解决方案。

核心贡献：四大创新，填补领域空白

首创三模态Transformer融合框架：设计双分支层级MixTransformer主干网络，搭配自研MAGE+BiTE组合融合模块，支持在网络任意层级插入融合逻辑，在保留各模态独有特征的同时，实现双向、精细化跨模态信息交互，兼容性极强。
开源业内首个三模态无人机数据集：采集上万帧昼夜同步数据，完成精准配准与人工核验标注，填补三模态无人机检测的数据空白。数据集覆盖多样化光照、视角、运动场景，可作为领域通用基准数据集。
61组大规模消融实验，输出“选型指南”：系统性验证融合层级、融合模块、主干网络大小、模态组合、训练数据分布等关键变量的影响，不仅证明方案有效性，还为工程落地提供明确的选型依据。
多算法横向对标，明确模态分工：将自研模块与CSSA（轻量化）、GAFF（高精度融合）等主流算法对比，量化RGB、热成像、事件相机各自的作用，厘清不同模态的互补逻辑与适用场景。

️ 系统设置：硬件搭载 + 数据集构建全解析

想要实现三模态融合，硬件同步、空间配准、数据标准化是基础。本文团队自研硬件载荷，并制定严谨的数据采集、标注、预处理流程。

一、硬件载荷：一体化三传感器无人机平台

整套传感器被封装在定制3D打印外壳中，保证光学轴线近似平行、视场完全重叠，搭载于大疆DJI M300工业无人机；由板载NVIDIA Jetson Xavier完成全设备时间戳同步与数据存储，硬件参数如下：

RGB相机：罗技高清相机，分辨率 1920×1080，帧率 30FPS；
长波红外热成像相机：FLIR Duo，工作波段7.5–13.5μm，分辨率 640×512，帧率 30FPS；
事件相机：Prophesee VGA 对比度传感器，分辨率 640×480，动态范围＞120dB；
标定精度：每次飞行前完成相机内外参标定，多模态图像重投影误差控制在1.5像素以内，保证空间对齐。

二、数据集详情：规模、标注、预处理全规范

1. 基础规模与场景分布

数据集总计 10489 帧同步图像，统一配准至 301×391 标准分辨率：

日间场景：6412 帧（占比61.1%），覆盖正常光照、多角度航拍、车流变化；
夜间场景：4077 帧（占比38.9%），重点测试弱光、热杂波环境；
标注内容：单类别（车辆）目标，共计 24223 个精准标注框，标签采用通用YOLO格式；
数据存储：每帧数据为5通道张量 .npy 文件（3通道RGB + 1通道热成像 + 1通道事件帧）。

2. 半自动标注方案（规避标注偏差）

为保证标注精度，团队分场景设计标注逻辑：

日间场景：先用预训练YOLO生成候选框，通过跨模态标定映射到统一图像平面，再由人工复核：补充漏检目标、删除误检、修正框体尺寸；
夜间场景：RGB图像失效，直接在热成像画面人工标注，再映射对齐并二次质检；
抽检验证：随机抽查723帧样本，10.9%的目标为人工补充，多为小目标、遮挡目标、边缘截断目标，充分保障复杂样本标注质量。

3. 事件帧预处理

事件相机输出为异步极性事件，团队以33.3ms时间窗口（匹配30FPS帧率）聚合事件信号，生成可视化事件特征图，并做全局归一化；训练阶段，RGB、热成像、事件通道分别使用专属统计量完成仿射归一化，适配不同数据分布。

研究方法：算法架构深度拆解

整套检测链路分为输入分支划分、层级Transformer主干、核心融合模块、特征金字塔、两阶段检测头五大模块，最大特点：融合操作不改变特征分辨率与通道数，即插即用，无需改动下游检测网络。

一、整体架构总览

输入：5通道三模态图像，拆分为两大独立分支

RGB分支：单独处理可见光纹理特征；
TE分支（热成像+事件）：将两类辅助模态合并编码，相比三独立分支，大幅降低参数量、算力开销，适配无人机算力、体积、功耗（SWaP）限制；

主干：双分支均使用4阶段MixTransformer（MiT）编码器，权重相互独立，四个阶段均预留融合接口；

融合层：可在任意单个/多个网络阶段插入融合模块，完成跨模态信息交互；

下游：融合特征送入标准FPN特征金字塔，最终接入Faster R-CNN两阶段检测头输出结果。

二、层级MixTransformer主干网络

双分支采用完全一致的4阶段Transformer结构，保证特征尺寸严格对齐：

Stage 1：7×7重叠补丁嵌入，步长=4；
Stage 2~Stage 4：3×3补丁嵌入，步长=2；
内置模块：前置层归一化 + 空间缩减注意力 + 前馈网络（嵌入3×3深度卷积，保留图像局部空间特征）；
输出特征步长：{4, 8, 16, 32}，为分层融合提供多尺度基础。

三、核心创新：MAGE + BiTE 双模块融合（本文核心亮点）

团队自研模态感知门控交换（MAGE） + 双向Token交换（BiTE）组合模块，先校正特征、再深度融合，全程保留特征尺寸。

1. 模态感知门控交换模块（MAGE）

作用：基于双分支联合特征，生成通道门控+空间门控，智能控制跨模态信息传递，过滤噪声区域，保留各模态原生有效特征。

特征拼接：将RGB与TE分支特征合并：
通道门控：对拼接特征做全局池化，经MLP+Sigmoid生成双向通道权重，筛选有效特征通道：
空间门控：轻量卷积生成像素级掩码，只在有效区域传递跨模态信息：
特征校正（最终输出校正后特征）：

MAGE就像“智能过滤器”，判断哪些通道、哪些像素区域需要借鉴另一路模态的特征，避免盲目融合引入噪声。

2. 双向Token交换模块（BiTE）

作用：将校正后的特征转为Token序列，通过双向交叉注意力实现深度上下文交互，最后还原为特征图。

特征展平为Token，构建Q/K/V矩阵，执行对称交叉注意力：

Token拼接后重塑为特征图，经3×3深度卷积恢复局部空间信息，再用1×1卷积压缩通道至原始维度，输出最终融合特征。

BiTE负责“深度交流”，让RGB、热成像、事件特征互相学习上下文信息，进一步提升特征表达能力。

四、对照融合模块

为横向对比性能，引入两类业界主流融合方案作为对照组，适配不同落地需求：

CSSA（通道切换+空间注意力）：轻量化方案，算力开销极低。通过分数替换无效通道，再结合空间门控融合，适合算力受限的嵌入式无人机；
GAFF（引导注意力特征融合）：高精度方案，结合SE通道校准与空间引导残差更新，侧重网络深层特征优化，适合追求精度的科研场景。

五、下游检测链路

特征金字塔FPN：自顶向下多尺度融合，统一通道为256，输出5级特征（步长{4,8,16,32,64}）；
Faster R-CNN检测头：包含RPN候选框生成、RoIAlign特征对齐、目标分类+框回归分支。

关键设计：所有实验固定检测头参数，确保性能差异仅由主干网络+融合模块导致，实验结论更严谨。

实验评估：61组对照实验，数据说话+落地选型

团队统一训练参数：SGD优化器、动量0.9、权重衰减、15轮训练、余弦学习率+热身策略，基于PyTorch混合精度训练。从主干网络、融合模块、模态组合、昼夜场景四大维度展开全面测试。

一、主干网络选型：精度&算力平衡最优解

测试MiT-B0 ~ MiT-B4五款不同大小的Transformer主干，结果如下：

结论：受数据集规模限制，过大的主干网络无法发挥性能，反而引发过拟合。工程落地优先选择 MiT-B1。

二、融合模块与融合位置测试

1. GAFF 模块（高精度融合方案）

GAFF更适配网络深层（Stage3/Stage4），单阶段融合效果远优于多阶段叠加：

最优配置：Stage3 + SE比例4 + 共享权重 + 瓶颈融合，mAP=84.02%；
整体性能略低于本文MAGE+BiTE基线，可作为深层融合备选方案。

2. CSSA 模块（轻量化融合方案）

CSSA主打低算力，更适配网络浅层（Stage1）：

最优配置：Stage1 + 阈值τ=0.5，mAP=83.44%；
优势：算力开销极小，仅损失少量精度，算力受限的嵌入式无人机首选；
避坑提醒：多阶段叠加CSSA会破坏模态独有特征，性能持续下降，禁止多层使用。

3. 自研模块拆解验证

单独使用MAGE、单独使用BiTE，性能均大幅下降：

仅BiTE：mAP=76.88%
仅MAGE：mAP=81.01%
MAGE+BiTE组合：mAP=84.24%结论：两大模块相辅相成，缺一不可，组合设计是性能核心保障。

三、模态组合对比：三类传感器分工明确

对比三模态、各类双模态组合，同时对标业内主流算法，量化各传感器价值：

三模态融合全面超越所有双模态方案，综合鲁棒性最强；
热成像是无人机检测的核心辅助传感器，夜间、弱光场景不可或缺；
事件相机不主打基础检测，核心价值体现在两大场景：① 修复运动模糊造成的漏检目标；② 抑制夜间热杂波引发的误检，属于“性能增益型补充模态”。

四、昼夜场景测试：训练数据多样性至关重要

模拟真实航拍工况，分别用纯日间、纯夜间、昼夜混合数据训练模型：

结论：单一光照数据训练的模型泛化能力极差，只能适配单一场景；昼夜混合数据集训练，才能让模型在全天不同环境下保持均衡高性能，这也是工业级无人机落地的必备条件。

全文总结 + 落地选型指南

技术&行业总结

方案价值：本文打造了算法+数据集+实验基准三位一体的无人机三模态检测体系，是业内首个系统研究RGB-热成像-事件融合的CVPR工作，开源资源将极大推动该领域发展。
模态分工：RGB负责基础纹理识别，热成像保障夜间/弱光可靠性，事件相机优化高速运动、复杂杂波场景，三者形成完美互补。
融合逻辑：融合位置、融合机制对最终性能影响巨大，没有“万能融合策略”，需根据硬件条件选择。

工程落地选型指南