典型文献
基于模态特异及模态共享特征信息的多模态细粒度检索
文献摘要：
跨模态检索的目标是用户给定任意一个样本作为查询样例,系统检索得到与查询样例相关的各个模态样本,多模态细粒度检索在跨模态检索基础上强调模态的数量至少大于两个,且待检索样本的分类标准为细粒度子类,存在多模态数据间的异构鸿沟及细粒度样本特征差异小等难题.引入模态特异特征及模态共享特征的概念,提出一种多模态细粒度检索框架MS2Net.使用分支网络及主干网络分别提取不同模态数据的模态特异特征及模态共享特征,将两种特征通过多模态特征融合模块进行充分融合,同时利用各个模态自身的特有信息及不同模态数据间的共性及联系,增加高维空间向量中包含的语义信息.针对多模态细粒度检索场景,在center loss函数的基础上提出multi-center loss函数,并引入类内中心来聚集同类别且同模态的样本,根据聚集类内中心来间接聚集同类别但模态不同的样本,同时消减样本间的异构鸿沟及语义鸿沟,增强模型对高维空间向量的聚类能力.在公开数据集FG-Xmedia上进行一对一与一对多的模态检索实验,结果表明,与FGCrossNet方法相比,MS2Net方法mAP指标分别提升65％和48％.
文献关键词：
信息检索;多模态检索;细粒度检索;多模态表征学习;深度学习
中图分类号：
作者姓名：
李佩;陈乔松;陈鹏昌;邓欣;王进;朴昌浩
作者机构：
重庆邮电大学 计算机科学与技术学院,重庆 400065;数据工程与认知计算重庆市重点实验室,重庆 400065
文献出处：
引用格式：
[1]李佩;陈乔松;陈鹏昌;邓欣;王进;朴昌浩-.基于模态特异及模态共享特征信息的多模态细粒度检索)[J].计算机工程,2022(11):62-68,76
A类：
细粒度检索,MS2Net,Xmedia,FGCrossNet,多模态表征学习
B类：
模态共享,共享特征,特征信息,跨模态检索,一个样,样例,分类标准,子类,多模态数据,异构鸿沟,样本特征,特征差异,分支网,主干网络,多模态特征融合,特征融合模块,充分融合,高维空间,空间向量,语义信息,center,loss,multi,内中,消减,语义鸿沟,增强模型,公开数据集,一对一,mAP,信息检索,多模态检索
AB值：
0.250018
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
