典型文献
融合动作特征的多模态情绪识别
文献摘要：
近年来,利用计算机技术实现基于多模态数据的情绪识别成为自然人机交互和人工智能领域重要的研究方向之一.利用视觉模态信息的情绪识别工作通常都将重点放在脸部特征上,很少考虑动作特征以及融合动作特征的多模态特征.虽然动作与情绪之间有着紧密的联系,但是从视觉模态中提取有效的动作信息用于情绪识别的难度较大.以动作与情绪的关系作为出发点,在经典的MELD多模态情绪识别数据集中引入视觉模态的动作数据,采用ST-GCN网络模型提取肢体动作特征,并利用该特征实现基于LSTM网络模型的单模态情绪识别.进一步在MELD数据集文本特征和音频特征的基础上引入肢体动作特征,提升了基于LSTM网络融合模型的多模态情绪识别准确率,并且结合文本特征和肢体动作特征提升了上下文记忆模型的文本单模态情绪识别准确率,实验显示虽然肢体动作特征用于单模态情绪识别的准确度无法超越传统的文本特征和音频特征,但是该特征对于多模态情绪识别具有重要作用.基于单模态和多模态特征的情绪识别实验验证了人体动作中含有情绪信息,利用肢体动作特征实现多模态情绪识别具有重要的发展潜力.
文献关键词：
动作特征;情绪识别;多模态;动作与情绪;视觉模态
中图分类号：
作者姓名：
孙亚男;温玉辉;舒叶芷;刘永进
作者机构：
清华大学计算机科学与技术系,北京 100084
文献出处：
引用格式：
[1]孙亚男;温玉辉;舒叶芷;刘永进-.融合动作特征的多模态情绪识别)[J].图学学报,2022(06):1159-1169
A类：
动作与情绪
B类：
动作特征,多模态情绪识别,利用计算机,计算机技术,多模态数据,别成,自然人机交互,人工智能领域,视觉模态,模态信息,脸部特征,多模态特征,着紧,MELD,别数,作数,GCN,肢体动作,征实,单模,文本特征,和音,音频特征,网络融合,融合模型,识别准确率,上下文,文记,征用,别具,有情,情绪信息
AB值：
0.23058
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
