典型文献
动态模态交互和特征自适应融合的RGBT跟踪
文献摘要：
目的 可见光和热红外模态数据具有很强的互补性,RGBT(RGB-thermal)跟踪受到越来越多的关注.传统RGBT目标跟踪方法只是将两个模态的特征进行简单融合,跟踪的性能受到一定程度的限制.本文提出了一种基于动态交互和融合的方法,协作学习面向RGBT跟踪的模态特定和互补表示.方法 首先,不同模态的特征进行交互生成多模态特征,在每个模态的特定特征学习中使用注意力机制来提升判别性.其次,通过融合不同层次的多模态特征来获得丰富的空间和语义信息,并通过设计一个互补特征学习模块来进行不同模态互补特征的学习.最后,提出一个动态权重损失函数,根据对两个模态特定分支预测结果的一致性和不确定性进行约束以自适应优化整个网络中的参数.结果 在两个基准RGBT目标跟踪数据集上进行实验,数据表明,在RGBT234数据集上,本文方法的精确率(precision rate,PR)为79.2％,成功率(success rate,SR)为55.8％;在GTOT(grayscale-thermal object tracking)数据集上,本文方法的精确率为86.1％,成功率为70.9％.同时也在RGBT234和GTOT数据集上进行了对比实验以验证算法的有效性,实验结果表明本文方法改善了RGBT目标跟踪的结果.结论 本文提出的RGBT目标跟踪算法,有效挖掘了两个模态之间的互补性,取得了较好的跟踪精度.
文献关键词：
模态交互;模态融合;互补特征学习;模态特定信息;RGBT目标跟踪
中图分类号：
作者姓名：
王福田;张淑云;李成龙;罗斌
作者机构：
安徽大学计算机科学与技术学院多模态认知计算实验室,合肥 230000;合肥综合性国家科学中心人工智能研究院,合肥 230000
文献出处：
引用格式：
[1]王福田;张淑云;李成龙;罗斌-.动态模态交互和特征自适应融合的RGBT跟踪)[J].中国图象图形学报,2022(10):3010-3021
A类：
互补特征学习,动态权重损失函数,模态特定信息
B类：
模态交互,特征自适应融合,可见光,光和热,热红外,互补性,thermal,跟踪方法,动态交互,协作学习,互生,多模态特征,注意力机制,判别性,不同层次,语义信息,学习模块,分支预测,行约,自适应优化,目标跟踪数据集,RGBT234,精确率,precision,rate,PR,success,SR,GTOT,grayscale,object,tracking,目标跟踪算法,跟踪精度,模态融合
AB值：
0.323277
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
