论文标题：Infrared-Visible Cross-Modal Person Re-Identification with an X Modality
论文来源：AAAI 2020
论文链接：https://aaai.org/Papers/AAAI/2020GB/AAAI-LiD.870.pdf
代码链接：https://github.com/littlejiumi/XIVReID
概述
我们关注的任务是红外（infrared）-可见光（visible）跨模态行人重识别（IV-ReID）。此任务难点在于可见光图像与红外图像之间显著的 gap，因此，我们引入了一个辅助的 X modality，并将 infrared-visible 双模态任务重新表述为 X-Infrared-Visible 三模态学习任务，即 XIV 学习框架。
该框架由两个主要部分组成：一个是通过自监督学习生成 X 模态的轻量型 X 模态生成器，一个是权重共享的 XIV 跨模态特征学习器，并设计了跨模态的约束。
▲ 图1. 引入X Modality使得跨模态匹配更容易
方法
2.1 问题定义
2.2 X模态图像
轻量级 X 模态生成器以可见光图像作为输入，网络包括两个 1×1 的卷积层和一个 ReLU 激活层，将可见光图像转换为单通道图像，然后重构成三通道图像。第一个 1×1 的卷积层将原始的三通道可见光图像映射为单通道图像，之后传入 ReLU 激活层，然后使用另一个 1×1 的卷积层将单通道图像映射为三通道的 X 模态图像。
2.3 权重共享特征学习器
2.4 模态约束
此外，对于每一种模态，我们还利用模态各自约束（modality respective gap, MRG） 来帮助模型收敛：。具体来说，应用交叉熵损失和一个改进的三重损失来优化特征学习。以红外图像为例：
2.5 优化
实验
3.1 实验设置
数据集：SYSU-MM01 和 RegDB 评价指标：累计匹配特征（CMC）曲线和平均精度（mAP） 实验细节：见原文
3.2 结果比较
▲表1.RegDB和SYSU-MM01数据集上与当前最佳IV-ReID方法比较
3.3 结果讨论
▲图3.SYSU-MM01和RegDB的训练集上，一幅图像中所有像素的平均单颜色通道的强度直方图
结论
本文研究了跨模态行人重识别问题。为了减少红外线和可见光图像之间固有的模态差异，我们提出了一个新的 X-红外线-可见光（XIV）跨模态学习框架。
具体地，我们设计了一个轻量级的生成器来从可见光图像和红外图像中吸取知识，并输出 X 模态图像；在此基础上，提出了一种基于权值共享的深度特征学习器，以联合的方式提取跨模态特征和分类输出。
中文文字：张晓涵、洪晓鹏
文章引用 bibtex 如下:
@inproceedings{xiv_reid20,
author={Li, Diangang and Wei, Xing and Hong, Xiaopeng and Gong, Yihong},
title={Infrared-Visible Cross-Modal Person Re-Identification with an X Modality},
booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
month = {February},
year={2020}
}
若对文中方法感兴趣，欢迎致信：
洪晓鹏老师 hongxiaopeng@mail.xjtu.edu.cn
和魏星老师 xingxjtu@gmail.com
