典型文献
基于Transformer-ESIM注意力机制的多模态情绪识别
文献摘要：
为了提高语音和文本融合的情绪识别准确率,提出一种基于Transformer-ESIM(Transformer-enhanced sequential inference model)注意力机制的多模态情绪识别方法.传统循环神经网络在语音和文本序列特征提取时存在长期依赖性,其自身顺序属性无法捕获长距离特征,因此采用Transformer编码层的多头注意力机制对序列进行并行化处理,解决了序列距离限制,能充分提取序列内的情感语义信息,获取语音和文本序列的深层情感语义编码,同时提高处理速度;通过ESIM交互注意力机制计算语音和文本之间的相似特征,实现语音和文本模态的对齐,解决了多模态特征直接融合而忽视的模态间交互问题,提高模型对情感语义的理解和泛化能力.该方法在IEMOCAP数据集上进行实验测试,实验结果表明,情绪识别分类准确率可达72.6％,和其他主流的多模态情绪识别方法相比各项指标都得到了明显的提升.
文献关键词：
多模态情绪识别;Transformer编码层;多头注意力机制;交互注意力
中图分类号：
作者姓名：
徐志京;高姗
作者机构：
上海海事大学 信息工程学院,上海 201306
文献出处：
引用格式：
[1]徐志京;高姗-.基于Transformer-ESIM注意力机制的多模态情绪识别)[J].计算机工程与应用,2022(10):132-138
A类：
B类：
Transformer,ESIM,多模态情绪识别,识别准确率,enhanced,sequential,inference,model,循环神经网络,序列特征,长距离,距离特征,编码层,多头注意力机制,并行化处理,距离限制,分提,提取序列,情感语义,语义信息,语义编码,高处,处理速度,交互注意力机制,对齐,多模态特征,互问,泛化能力,IEMOCAP,实验测试,识别分类,分类准确率
AB值：
0.32505
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
