典型文献
基于跨模态自蒸馏的零样本草图检索
文献摘要：
零样本草图检索将未见类的草图作为查询样本,用于检索未见类的图像.因此,这个任务同时面临两个挑战:草图和图像之间的模态差异以及可见类和未见类的不一致性.过去的方法通过将草图和图像投射到一个公共空间来消除模态差异,还通过利用语义嵌入(如词向量和词相似度)来弥合可见类和未见类的语义不一致.提出了跨模态自蒸馏方法,从知识蒸馏的角度研究可泛化的特征,无需语义嵌入参与训练.具体而言,首先通过传统的知识蒸馏将预训练的图像识别网络的知识迁移到学生网络.然后,通过草图和图像的跨模态相关性,跨模态自蒸馏将上述知识间接地迁移到草图模态的识别上,提升草图特征的判别性和泛化性.为了进一步提升知识在草图模态内的集成和传播,进一步地提出草图自蒸馏.通过为数据学习辨别性的且泛化的特征,学生网络消除了模态差异和语义不一致性.在3个基准数据集,即Sketchy、TU-Berlin和QuickDraw,进行了广泛的实验,证明了所提跨模态自蒸馏方法与当前方法相比较的优越性.
文献关键词：
零样本草图检索;零样本学习;跨模态检索;知识蒸馏
中图分类号：
作者姓名：
田加林;徐行;沈复民;申恒涛
作者机构：
电子科技大学计算机科学与工程学院,四川成都611731
文献出处：
引用格式：
[1]田加林;徐行;沈复民;申恒涛-.基于跨模态自蒸馏的零样本草图检索)[J].软件学报,2022(09):3152-3164
A类：
零样本草图检索,自蒸馏方法,QuickDraw
B类：
和图像,模态差异,不一致性,投射,射到,公共空间,语义嵌入,词向量,弥合,知识蒸馏,预训练,图像识别,识别网络,知识迁移,学生网络,间接地,判别性,泛化性,过为,数据学习,辨别,基准数据集,Sketchy,TU,Berlin,前方,零样本学习,跨模态检索
AB值：
0.232912
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
