典型文献
拥抱融合的多模态灾害分析算法
文献摘要：
融合文本和图像的多模态信息相对于单模态可以提升灾害事件分析准确率.但是已有的工作多数将文本特征和图片特征进行简单的融合,在提取、融合特征的时候造成特征的冗余,同时忽略了模态之间的联系,没有考虑到图像和文本之间特征的相关性.为此,本文分析和研究目前流行的多模态融合算法,提出一种拥抱融合的多模态灾害事件分析算法.首先将文本特征和图像的特征向量互相对比,考虑文本和图像特征之间的相关性.然后基于多项抽样,剔除冗余的特征,融合文本特征和图像特征.实验结果表明,拥抱融合在CrisisMMD2.0数据集上实验1的2个任务的分类效果准确率分别高达88.2%、85.1%,都明显优于其他多模态融合模型,表明了该模型的有效性.同时第2个实验也验证了拥抱模型对于不同文本和图像深度学习模型的适用性.
文献关键词：
多模态融合;拥抱融合;多项抽样;多模态灾害事件;CrisisMMD2.0
中图分类号：
作者姓名：
梅欣;缪梓敬
作者机构：
华南师范大学计算机学院,广东 广州 510631
文献出处：
引用格式：
[1]梅欣;缪梓敬-.拥抱融合的多模态灾害分析算法)[J].计算机与现代化,2022(10):82-87
A类：
拥抱融合,多模态灾害事件,多项抽样,CrisisMMD2
B类：
灾害分析,和图像,多模态信息,单模,事件分析,文本特征,图片特征,融合特征,分析和研究,多模态融合,融合算法,特征向量,图像特征,分类效果,融合模型,图像深度学习,深度学习模型
AB值：
0.186614
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
