典型文献
基于视觉关系推理与上下文门控机制的图像描述
文献摘要：
为了探索图像场景理解所需要的视觉区域间关系的建模与推理,提出视觉关系推理模块.该模块基于图像中不同的语义和空间上下文信息,对相关视觉对象间的关系模式进行动态编码,并推断出与当前生成的关系词最相关的语义特征输出.通过引入上下文门控机制,以根据不同类型的单词动态地权衡视觉注意力模块和视觉关系推理模块的贡献.实验结果表明,对比以往基于注意力机制的图像描述方法,基于视觉关系推理与上下文门控机制的图像描述方法更好;所提模块可以动态建模和推理不同类型生成单词的最相关特征,对输入图像中物体关系的描述更加准确.
文献关键词：
图像语义描述;视觉关系推理;多模态编码;上下文门控机制;注意力机制
中图分类号：
作者姓名：
陈巧红;裴皓磊;孙麒
作者机构：
浙江理工大学 信息学院,浙江 杭州 310018
文献出处：
引用格式：
[1]陈巧红;裴皓磊;孙麒-.基于视觉关系推理与上下文门控机制的图像描述)[J].浙江大学学报（工学版）,2022(03):542-549
A类：
视觉关系推理,上下文门控机制,图像语义描述,多模态编码
B类：
图像描述,场景理解,视觉区域,区域间,空间上下文,上下文信息,关系模式,推断出,前生,关系词,语义特征,单词,地权,视觉注意力,注意力模块,注意力机制,动态建模,成单,中物
AB值：
0.201666
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
