典型文献
融合多重注意力机制的人眼注视点预测
文献摘要：
目的 经典的人眼注视点预测模型通常采用跳跃连接的方式融合高、低层次特征,容易导致不同层级之间特征的重要性难以权衡,且没有考虑人眼在观察图像时偏向中心区域的问题.对此,本文提出一种融合注意力机制的图像特征提取方法,并利用高斯学习模块对提取的特征进行优化,提高了人眼注视点预测的精度.方法 提出一种新的基于多重注意力机制(multiple attention mechanism,MAM)的人眼注视点预测模型,综合利用3种不同的注意力机制,对添加空洞卷积的ResNet-50模型提取的特征信息分别在空间、通道和层级上进行加权.该网络主要由特征提取模块、多重注意力模块和高斯学习优化模块组成.其中,空洞卷积能够有效获取不同大小的感受野信息,保证特征图分辨率大小的不变性;多重注意力模块旨在自动优化获得的低层丰富的细节信息和高层的全局语义信息,并充分提取特征图通道和空间信息,防止过度依赖模型中的高层特征;高斯学习模块用来自动选择合适的高斯模糊核来模糊显著性图像,解决人眼观察图像时的中心偏置问题.结果 在公开数据集SALICON(saliency in con-text)上的实验表明,提出的方法相较于同结构的SAM-Res(saliency attention modal)模型以及DINet(dilated inception network)模型在相对熵(Kullback-Leibler divergence,KLD)、sAUC(shuffled area under ROC curve)和信息增益(informa-tion gain,IG)评价标准上分别提高了33％、0.3％ 和6％;53％、0.5％ 和192％.结论 实验结果表明,提出的人眼注视点预测模型能通过加权的方式分别提取空间、通道、层之间的特征,在多数人眼注视点预测指标上超过了主流模型.
文献关键词：
人眼注视点预测;多重注意力;层注意力;通道注意力;空间注意力;高斯学习
中图分类号：
作者姓名：
孔力;胡学敏;汪顶;刘艳芳;张龑;陈龙
作者机构：
湖北大学计算机与信息工程学院,武汉 430062;中山大学数据科学与计算机学院,广州 510006
文献出处：
引用格式：
[1]孔力;胡学敏;汪顶;刘艳芳;张龑;陈龙-.融合多重注意力机制的人眼注视点预测)[J].中国图象图形学报,2022(12):3503-3515
A类：
人眼注视点预测,高斯学习,SALICON,DINet,sAUC
B类：
多重注意力机制,跳跃连接,低层次,层次特征,中心区,图像特征提取,学习模块,multiple,attention,mechanism,MAM,空洞卷积,ResNet,特征信息,取模,注意力模块,学习优化,同大,感受野,特征图,不变性,自动优化,细节信息,全局语义信息,分提,提取特征,空间信息,依赖模型,高斯模糊,模糊核,显著性图,偏置,公开数据集,saliency,con,text,SAM,modal,dilated,inception,network,相对熵,Kullback,Leibler,divergence,KLD,shuffled,area,under,curve,信息增益,informa,gain,IG,数人,预测指标,流模型,层注意力,通道注意力,空间注意力
AB值：
0.314562
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
