典型文献
文本信息辅助图像差异描述生成
文献摘要：
图像描述生成任务要求机器自动生成自然语言文本来描述图像所呈现的语义内容,从而将视觉信息转化为文本描述,便于对图像进行管理、检索、分类等工作.图像差异描述生成是图像描述生成任务的延伸,其难点在于如何确定2张图像之间的视觉语义差别,并将视觉差异信息转换成对应的文本描述.基于此,提出了一种引入文本信息辅助训练的模型框架TA-IDC.采取多任务学习的方法,在传统的编码器-解码器结构上增加文本编码器,在训练阶段通过文本辅助解码和混合解码2种方法引入文本信息,建模视觉和文本2个模态间的语义关联,以获得高质量的图像差别描述.实验证明,TA-IDC模型在3个图像差异描述数据集上的主要指标分别超越已有模型最佳结果12％、2％和3％.
文献关键词：
图像差异描述;模态融合;图像描述;计算机视觉;自然语言处理
中图分类号：
作者姓名：
陈玮婧;王维莹;金琴
作者机构：
中国人民大学 信息学院, 北京100872
文献出处：
引用格式：
[1]陈玮婧;王维莹;金琴-.文本信息辅助图像差异描述生成)[J].北京航空航天大学学报,2022(08):1436-1444
A类：
图像差异描述
B类：
文本信息,图像描述生成,任务要求,自动生成,语义内容,视觉信息,文本描述,信息转换,转换成,辅助训练,模型框架,TA,IDC,多任务学习,编码器,解码器,文本编码,训练阶段,语义关联,模态融合,计算机视觉,自然语言处理
AB值：
0.296572
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
