典型文献
基于多模态注意力机制的跨模态哈希网络
文献摘要：
深度跨模态哈希算法(deep cross-modal Hash,DCMH)可以结合哈希算法存储成本低、检索速度快的优点,以及深度神经网络提取特征的强大能力,得到了越来越多的关注.它可以有效地将模态的特征和哈希表示学习集成到端到端框架中.然而在现有的DCMH方法的特征提取中,基于全局表示对齐的方法无法准确定位图像和文本中有语义意义的部分,导致在保证检索速度的同时无法保证检索的精确度.针对上述问题,提出了一种基于多模态注意力机制的跨模态哈希网络(HX_MAN),将注意力机制引入到DCMH方法中来提取不同模态的关键信息.利用深度学习来提取图像和文本模态的全局上下文特征,并且设计了一种多模态交互门来将图像和文本模态进行细粒度的交互,引入多模态注意力机制来更精确地捕捉不同模态内的局部特征信息,将带有注意的特征输入哈希模块以获得二进制的哈希码;在实行检索时,将任一模态的数据输入训练模块中来获得哈希码,计算该哈希码与检索库中哈希码的汉明距离,最终根据汉明距离按顺序输出另一种模态的数据结果.实验结果表明:HX_MAN模型与当前现有的DCMH方法相比更具有良好的检索性能,在保证检索速度的同时,能够更准确地提炼出图像和文本模态的局部细粒度特征,提高了检索的精确度.
文献关键词：
跨模态检索;注意力机制;深度哈希;多模态学习
中图分类号：
作者姓名：
吴吉祥;鲁芹;李伟霄
作者机构：
齐鲁工业大学(山东省科学院)计算机科学与技术学院,济南 250000;中移动信息技术有限公司 内审部,北京 100000
文献出处：
引用格式：
[1]吴吉祥;鲁芹;李伟霄-.基于多模态注意力机制的跨模态哈希网络)[J].计算机工程与应用,2022(20):229-239
A类：
DCMH
B类：
注意力机制,跨模态哈希,哈希算法,deep,cross,modal,Hash,深度神经网络,提取特征,强大能力,哈希表,表示学习,端到端,全局表示,对齐,准确定位,位图,HX,MAN,关键信息,全局上下文,上下文特征,多模态交互,局部特征,特征信息,二进制,哈希码,任一,中哈,汉明距离,数据结果,出图,细粒度特征,跨模态检索,深度哈希,多模态学习
AB值：
0.31551
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
