典型文献
问题引导的空间关系图推理视觉问答模型
文献摘要：
目的 现有视觉问答模型的研究主要从注意力机制和多模态融合角度出发,未能对图像场景中对象之间的语义联系显式建模,且较少突出对象的空间位置关系,导致空间关系推理能力欠佳.对此,本文针对需要空间关系推理的视觉问答问题,提出利用视觉对象之间空间关系属性结构化建模图像,构建问题引导的空间关系图推理视觉问答模型.方法 利用显著性注意力,用Faster R-CNN(region-based convolutional neural network)提取图像中显著的视觉对象和视觉特征;对图像中的视觉对象及其空间关系结构化建模为空间关系图;利用问题引导的聚焦式注意力进行基于问题的空间关系推理.聚焦式注意力分为节点注意力和边注意力,分别用于发现与问题相关的视觉对象和空间关系;利用节点注意力和边注意力权重构造门控图推理网络,通过门控图推理网络的信息传递机制和控制特征信息的聚合,获得节点的深度交互信息,学习得到具有空间感知的视觉特征表示,达到基于问题的空间关系推理;将具有空间关系感知的图像特征和问题特征进行多模态融合,预测出正确答案.结果 模型在VQA(visual question answering)v2数据集上进行训练、验证和测试.实验结果表明,本文模型相比于Prior、Language only、MCB(multimodal compact bilinear)、ReasonNet和Bottom-Up等模型,在各项准确率方面有明显提升.相比于ReasonNet模型,本文模型总体的回答准确率提升2.73％,是否问题准确率提升4.41％,计数问题准确率提升5.37％,其他问题准确率提升0.65％.本文还进行了消融实验,验证了方法的有效性.结论 提出的问题引导的空间关系图推理视觉问答模型能够较好地将问题文本信息和图像目标区域及对象关系进行匹配,特别是对于需要空间关系推理的问题,模型展现出较强的推理能力.
文献关键词：
视觉问答(VQA);图卷积神经网络(GCN);注意力机制;空间关系推理;多模态学习
中图分类号：
作者姓名：
兰红;张蒲芬
作者机构：
江西理工大学信息工程学院,赣州 341000
文献出处：
引用格式：
[1]兰红;张蒲芬-.问题引导的空间关系图推理视觉问答模型)[J].中国图象图形学报,2022(07):2274-2286
A类：
空间关系推理,ReasonNet
B类：
问题引导,关系图,视觉问答,注意力机制,多模态融合,显式,空间位置,位置关系,推理能力,答问,关系属性,构建问题,Faster,region,convolutional,neural,network,关系结构,利用问题,边注意力,注意力权重,门控,过门,信息传递机制,特征信息,深度交互,交互信息,习得,有空,空间感知,视觉特征表示,关系感知,图像特征,预测出,VQA,visual,question,answering,v2,Prior,Language,only,MCB,multimodal,compact,bilinear,Bottom,Up,准确率提升,计数问题,消融实验,问题文本,文本信息,和图像,目标区域,对象关系,图卷积神经网络,GCN,多模态学习
AB值：
0.353097
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
