典型文献
基于多模态异质动态融合的情绪分析研究
文献摘要：
近年来,利用多模态数据进行情绪分析是一个非常热门的领域.如何对模态内部信息及模态之间的相互作用进行更好的利用,是一个值得探讨的研究问题.而多个模态之间的相互作用,并不是一个静态的过程,而是动态变化的,且模态对于不同的任务而言也存在动态的强弱差异.若不能妥善处理,将导致模型性能的下降.该文针对时序多模态情绪数据提出了一种异质的动态融合方法,通过层次化的异质动态融合方式更完备地进行模态融合,并且动态地捕捉到模态间的相互作用.因此,该方法在提高模型性能的同时也提高了模态融合过程的可解释性.同时,该文利用多任务学习策略,将异质动态融合网络联合单个模态的自监督学习网络,获得模态的一致性及差异性特征.通过CMU-MOSI及CMU-MOSEI数据集上的实验表明该模型相比于主流模型具有优势,且模态融合的过程更具可解释性.
文献关键词：
多模态融合;多任务学习;情绪分析
中图分类号：
作者姓名：
丁健;杨亮;林鸿飞;王健
作者机构：
大连理工大学 计算机科学与技术学院,辽宁 大连 116024
文献出处：
引用格式：
[1]丁健;杨亮;林鸿飞;王健-.基于多模态异质动态融合的情绪分析研究)[J].中文信息学报,2022(05):112-124
A类：
B类：
动态融合,情绪分析,多模态数据,内部信息,研究问题,妥善处理,模型性能,融合方法,层次化,融合方式,捕捉到,可解释性,多任务学习,学习策略,融合网络,自监督学习,学习网络,CMU,MOSI,MOSEI,流模型,多模态融合
AB值：
0.304466
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
