典型文献
基于跨模态融合的短视频情绪识别方法
文献摘要：
目的 探讨人机交互领域中解决相似情绪难以区分的新型识别方法.方法 采用将音频、视频以及光流三种不同模态融合的方式建立一种跨模态融合的短视频情绪识别方法ICVNet.结果 (1)基于IEMOCAP建立了一个多模态情绪识别数据集;(2)分别提取音频、视频以及光流三种模态的特征信息并加载三种模态的预训练权重来进行决策级的特征融合;(3)构建情绪识别融合分类模块;(4)实验结果表明,ICV-Net的情绪识别分类准确率达到80.77％.结论 本文建立的跨模态融合的短视频情绪识别方法ICVNet可以有效地提升人机交互场景下的情绪识别准确率.
文献关键词：
信息融合;视频;人机交互;跨模态深度学习;情绪识别;协调注意力机制;神经网络;图像
中图分类号：
作者姓名：
薛均晓;武雪程;张牵;田萌萌;翟蓝航;石磊
作者机构：
郑州大学网络空间安全学院,郑州450002
文献出处：
引用格式：
[1]薛均晓;武雪程;张牵;田萌萌;翟蓝航;石磊-.基于跨模态融合的短视频情绪识别方法)[J].人类工效学,2022(05):49-55
A类：
ICVNet,跨模态深度学习
B类：
跨模态融合,人机交互,音频,光流,IEMOCAP,一个多,多模态情绪识别,别数,特征信息,预训练,重来,特征融合,融合分类,识别分类,分类准确率,识别准确率,信息融合,协调注意力机制
AB值：
0.240211
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
