典型文献
基于RCBA模型的多模态讽刺识别
文献摘要：
目前,大多数讽刺识别模型都是针对文本数据进行研究,推文中包含的图像数据未得到有效利用,导致讽刺识别任务准确度不高.针对这一问题,提出一种结合注意力机制的联合神经网络模型RCBA,用于图文混合的多模态讽刺识别任务.RCBA模型首先利用结合空间注意力机制和通道注意力机制的深度残差网络(ResNet101)进行图像特征自适应提取;同时,使用图像属性分类器提取图像属性特征;其次,将图像属性特征作为双向长短时记忆神经网络(Bi-LSTM)的初始状态,完成文本特征的提取;随后,通过两层神经网络融合图像特征、图像属性特征和文本特征;最后使用两层的反向传播网络(BP)作为分类器,完成讽刺识别.该模型在图文Twitter讽刺公开数据集上进行实验,与图文讽刺识别任务的基线模型相比,准确率和F1值分别提升了 6.19％、5.29％.实验结果表明RCBA模型能够有效提取多模态数据特征,在讽刺识别任务上具有更好的性能.
文献关键词：
讽刺识别;多模态;特征融合;注意力机制
中图分类号：
作者姓名：
钱梦莹;田生伟;张立强;张新宇;马圆圆
作者机构：
新疆大学软件学院,新疆乌鲁木齐830000
文献出处：
引用格式：
[1]钱梦莹;田生伟;张立强;张新宇;马圆圆-.基于RCBA模型的多模态讽刺识别)[J].微电子学与计算机,2022(06):12-21
A类：
RCBA,讽刺识别
B类：
识别模型,文本数据,推文,图像数据,图文,空间注意力机制,通道注意力机制,深度残差网络,ResNet101,图像特征,特征自适应,自适应提取,分类器,属性特征,双向长短时记忆神经网络,Bi,初始状态,成文,文本特征,特征的提取,两层,网络融合,融合图像,反向传播网络,Twitter,公开数据集,基线模型,有效提取,多模态数据,数据特征,特征融合
AB值：
0.267704
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
