典型文献
多负例对比机制下的跨模态表示学习
文献摘要：
为了有效地获取到更有区别性的跨模态表示,提出了一种基于多负例对比机制的跨模态表示学习方法——监督对比的跨模态表示学习(supervised contrastive cross-modal representation learning,SCCMRL),并将其应用于视觉模态和听觉模态上.SCCMRL分别通过视觉编码器和音频编码器提取得到视听觉特征,利用监督对比损失让样本数据与其多个负例进行对比,使得相同类别的视听觉特征距离更近,不同类别的视听觉特征距离更远.此外,该方法还引入了中心损失和标签损失来进一步保证跨模态表示间的模态一致性和语义区分性.为了验证SCCMRL方法的有效性,基于SCCMRL方法构建了相应的跨模态检索系统,并结合Sub_URMP和XmediaNet数据集进行了跨模态检索实验.实验结果表明,SCCMRL方法相较于当前常用的跨模态检索方法取得了更高的mAP值,同时验证了多负例对比机制下的跨模态表示学习具有可行性.
文献关键词：
跨模态表示学习;多模态特征融合;多负例对比机制;监督对比损失;跨模态检索
中图分类号：
作者姓名：
丁凯旋;陈雁翔;赵鹏铖;朱玉鹏;盛振涛
作者机构：
合肥工业大学 计算机与信息学院,合肥 230601
文献出处：
引用格式：
[1]丁凯旋;陈雁翔;赵鹏铖;朱玉鹏;盛振涛-.多负例对比机制下的跨模态表示学习)[J].计算机工程与应用,2022(19):184-192
A类：
多负例对比机制,跨模态表示学习,SCCMRL,监督对比损失,URMP,XmediaNet
B类：
取到,区别性,表示学习方法,supervised,contrastive,cross,modal,representation,learning,视觉模态,听觉,视觉编码,编码器,和音,音频编码,视听,更远,中心损失,区分性,跨模态检索,检索系统,Sub,检索方法,mAP,多模态特征融合
AB值：
0.231438
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
