典型文献
基于语义融合和多重相似性学习的跨模态检索
文献摘要:
针对现有跨模态检索方法不能充分挖掘模态之间的相似性信息的问题,提出一种基于语义融合和多重相似性学习(CFMSL)方法.首先,在特征提取过程中融合不同模态的语义信息,加强不同模态特征间的交互,使得模型能够充分挖掘模态间的关联信息.然后,利用生成器将单模态特征和融合模态特征映射到公共子空间中,通过最大化锚点与正例样本之间的相似性和最小化锚点与负例样本间的相似性得到具有判别性的特征进行模态对齐.最后,基于决策融合方式对相似性列表进行重排序,使得最终排序结果同时考虑单模态特征和融合模态特征,提高检索性能.通过在Pascal Sen-tences、Wikipedia、NUS-WIDE-10K这3个广泛使用的图文数据集上进行实验,实验结果表明CFMSL模型能够有效提高跨模态检索任务的性能.
文献关键词:
跨模态检索;特征融合;相似性学习;重排序;异构鸿沟
中图分类号:
作者姓名:
曾奕斌;葛红
作者机构:
华南师范大学计算机学院,广东 广州 510631
文献出处:
引用格式:
[1]曾奕斌;葛红-.基于语义融合和多重相似性学习的跨模态检索)[J].计算机与现代化,2022(08):50-56
A类:
CFMSL
B类:
语义融合,相似性学习,跨模态检索,检索方法,语义信息,模态特征,联信,生成器,单模,特征映射,射到,公共子空间,锚点,正例,判别性,对齐,决策融合,融合方式,列表,重排序,高检,Pascal,Sen,tences,Wikipedia,NUS,WIDE,10K,图文,特征融合,异构鸿沟
AB值:
0.414816
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。