TPAMI 2025 | 国防科大提出RGBT-Tiny数据集与SAFit指标，推动小目标检测技术发展

项目地址：https://github.com/XinyiYing/RGBT-Tiny

论文链接：https://doi.org/10.1109/TPAMI.2025.3544621

在无人机监控、自动驾驶、夜间搜救等场景中，小目标检测（如远处行人、微型无人机）一直是技术难点——目标尺寸小、背景干扰多、光照条件复杂。现有数据集多聚焦单一模态（可见光或红外成像），且目标尺寸偏大、场景单一，难以满足实际需求，针对可见光-红外双模态（Visible-Thermal, RGBT）小目标检测的研究却鲜有突破。为了填补这一空白，国防科技大学团队最新发布RGBT-Tiny基准数据集和SAFit评价指标，填补领域空白，为RGBT小目标检测提供了一个全新的基准和评估工具。

RGBT-Tiny：首个大规模RGBT小目标检测数据集

                                ^{图1 RGBT-Tiny数据集示例}

• 丰富多样：115组对齐序列、9.3万帧图像、120万标注，覆盖7类目标（如船舶、汽车、行人等）和8种场景（如海洋、湖泊、城市道路等）。
• 极致挑战：81%目标小于16×16像素，包含极端光照（白天高光、夜间低光/不可见光）和高密度场景（单帧最多161个目标）。
• 精准对齐：通过专业校准和图像裁剪，解决可见光与热成像镜头的视场和分辨率偏差，确保跨模态数据精准匹配。
• 应用广泛：提供双光匹配的边界框标注和跟踪ID，支持多模态融合、目标检测和跟踪等多种任务。

SAFit：适应不同目标尺度的鲁棒评价指标

                                    ^{图2 不同评价指标的量化结果对比}

传统基于IoU（Intersection Over Union）度量的小目标检测评价指标对小目标的位置偏差敏感，难以准确评估检测性能。为此，研究团队提出了一种新的评价指标SAFit（Scale Adaptive Fitness），通过Sigmoid加权IoU和NWD（Normalized Wasserstein Distance），能够根据目标的尺寸动态调整评估权重：

• 对于小目标，SAFit更关注位置偏差的鲁棒性；
• 对于大目标，SAFit更注重边界框的精确度。

实验表明，SAFit能够实现可调控多尺度目标鲁棒评估，配套设计的SAFit损失函数优化检测模型的训练收敛。

实验验证：30种算法全面评测

                                 ^{表1 不同算法检测性能量化结果对比}

基于RGBT-Tiny数据集和SAFit指标，研究团队对30种主流目标检测算法进行了全面评估，包括：

• 可见光通用目标检测（如YOLO、Faster R-CNN）；
• 可见光小目标检测（如RFLA、QueryDet）；
• 热红外小目标检测（如ACM、DNA-Net）；
• RGBT目标检测（如UA-CMDet、CMA-Det）。

研究团队总结跨模态语义冲突等核心挑战和跨模态语义调制等有效方案，为该领域提供了重要数据基准与方法论参考。