典型文献
基于自注意力模态融合网络的跨模态行人再识别方法研究
文献摘要：
行人再识别是实现多目标跨摄像头跟踪的核心技术,该技术能够广泛应用于安防、智能视频监控、刑事侦查等领域.一般的行人再识别问题面临的挑战包括摄像机的低分辨率、行人姿态变化、光照变化、行人检测误差、遮挡等.跨模态行人再识别相比于一般的行人再识别问题增加了相同行人不同模态的变化.针对跨模态行人再识别中存在的模态变化问题,本文提出了一种自注意力模态融合网络.首先是利用CycleGAN生成跨模态图像.在得到了跨模态图像后利用跨模态学习网络同时学习两种模态图像特征,对于原始数据集中的图像利用SoftMax损失进行有监督的训练,对生成的跨模态图像利用LSR(Label smooth regularization)损失进行有监督的训练.之后,使用自注意力模块将原始图像和CycleGAN生成的图像进行区分,自动地对跨模态学习网络的特征在通道层面进行筛选.最后利用模态融合模块将两种筛选后的特征进行融合.通过在跨模态数据集SYSU-MM01上的实验证明了本文提出的方法和跨模态行人再识别其他方法相比有一定程度的性能提升.
文献关键词：
跨模态行人再识别;自注意力;跨模态融合;CycleGAN
中图分类号：
作者姓名：
杜鹏;宋永红;张鑫瑶
作者机构：
西安交通大学软件学院 西安710049;西安交通大学人工智能学院 西安710049
文献出处：
引用格式：
[1]杜鹏;宋永红;张鑫瑶-.基于自注意力模态融合网络的跨模态行人再识别方法研究)[J].自动化学报,2022(06):1457-1468
A类：
B类：
融合网络,跨模态行人再识别,摄像头,安防,智能视频监控,刑事侦查,摄像机,低分辨率,行人检测,检测误差,遮挡,同行人,先是,CycleGAN,跨模态学习,学习网络,图像特征,原始数据,SoftMax,有监督,LSR,Label,smooth,regularization,自注意力模块,原始图像,跨模态数据,SYSU,MM01,其他方法,性能提升,跨模态融合
AB值：
0.290454
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
