典型文献
基于注意力的多层次混合融合的多任务多模态情感分析
文献摘要:
针对多模态情感分析中的模态内部特征表示和模态间的特征融合问题,结合注意力机制和多任务学习,提出了一种基于注意力的多层次混合融合的多任务多模态情感分析模型MAM(multi-level attention and multi-task).首先,利用卷积神经网络和双向门控循环单元来实现单模态内部特征的提取;其次,利用跨模态注意力机制实现模态间的两两特征融合;再次,在不同层次使用自注意力机制实现模态贡献度选择;最后,结合多任务学习获得情感和情绪的分类结果.在公开的CMU-MOSEI数据集上的实验结果表明,情感和情绪分类的准确率和F1值均有所提升.
文献关键词:
多模态;情感分析;注意力机制;多任务学习
中图分类号:
作者姓名:
宋云峰;任鸽;杨勇;樊小超
作者机构:
新疆师范大学 计算机科学技术学院,乌鲁木齐830054
文献出处:
引用格式:
[1]宋云峰;任鸽;杨勇;樊小超-.基于注意力的多层次混合融合的多任务多模态情感分析)[J].计算机应用研究,2022(03):716-720
A类:
跨模态注意力机制
B类:
混合融合,多模态情感分析,特征表示,特征融合,融合问题,多任务学习,MAM,multi,level,attention,task,双向门控循环单元,单模,特征的提取,不同层次,自注意力机制,模态贡献,贡献度,CMU,MOSEI,情绪分类
AB值:
0.309825
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。