典型文献
面向跨模态行人重识别的单模态自监督信息挖掘
文献摘要：
目的 在智能监控视频分析领域中,行人重识别是跨无交叠视域的摄像头匹配行人的基础问题.在可见光图像的单模态匹配问题上,现有方法在公开标准数据集上已取得优良的性能.然而,在跨正常光照与低照度场景进行行人重识别的时候,使用可见光图像和红外图像进行跨模态匹配的效果仍不理想.研究的难点主要有两方面:1)在不同光谱范围成像的可见光图像与红外图像之间显著的视觉差异导致模态鸿沟难以消除;2)人工难以分辨跨模态图像的行人身份导致标注数据缺乏.针对以上两个问题,本文研究如何利用易于获得的有标注可见光图像辅助数据进行单模态自监督信息的挖掘,从而提供先验知识引导跨模态匹配模型的学习.方法 提出一种随机单通道掩膜的数据增强方法,对输入可见光图像的3个通道使用掩膜随机保留单通道的信息,使模型关注提取对光谱范围不敏感的特征.提出一种基于三通道与单通道双模型互学习的预训练与微调方法,利用三通道数据与单通道数据之间的关系挖掘与迁移鲁棒的跨光谱自监督信息,提高跨模态匹配模型的匹配能力.结果 跨模态行人重识别的实验在"可见光—红外"多模态行人数据集SYSU-MM01(Sun Yat-Sen University Multiple Modality 01)、RGBNT201(RGB,near infrared,thermal infrared,201)和RegDB上进行.实验结果表明,本文方法在这3个数据集上都达到领先水平.与对比方法中的最优结果相比,在RGBNT201数据集上的平均精度均值mAP(mean average precision)有最高接近5％的提升.结论 提出的单模态跨光谱自监督信息挖掘方法,利用单模态可见光图像辅助数据挖掘对光谱范围变化不敏感的自监督信息,引导单模态预训练与多模态有监督微调,提高跨模态行人重识别的性能.
文献关键词：
行人重识别;跨模态检索;红外图像;自监督学习;互学习
中图分类号：
作者姓名：
吴岸聪;林城梽;郑伟诗
作者机构：
中山大学计算机学院,广州 510006
文献出处：
引用格式：
[1]吴岸聪;林城梽;郑伟诗-.面向跨模态行人重识别的单模态自监督信息挖掘)[J].中国图象图形学报,2022(10):2843-2859
A类：
RGBNT201
B类：
跨模态行人重识别,单模,监督信息,信息挖掘,智能监控,监控视频,视频分析,交叠,摄像头,基础问题,可见光图像,匹配问题,公开标准,标准数据集,低照度,行行,红外图像,跨模态匹配,围成,鸿沟,数据缺乏,辅助数据,先验知识,知识引导,匹配模型,单通道,掩膜,数据增强,增强方法,不敏,三通道,双模型,互学习,预训练,微调,通道数,关系挖掘,SYSU,MM01,Sun,Yat,Sen,University,Multiple,Modality,near,infrared,thermal,RegDB,领先水平,比方,平均精度均值,mAP,mean,average,precision,挖掘方法,有监督,跨模态检索,自监督学习
AB值：
0.300911
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
