典型文献
基于图文多模态门控增强的文本平行句对抽取方法
文献摘要：
目前,主流平行句对抽取方法大都采用预训练模型加微调的策略,并基于句子语义相似性实现平行句对的抽取.但该方法对词级实体级等细粒度的对齐考虑不足,使得获取的平行句对在词粒度上存在噪声,影响了平行句对的质量.图像是一种语言无关的模态,可以跨越语言之间的语义鸿沟,且包括丰富的词级或实体信息.本文以图像模态为双语对齐的锚点,基于多模态门控增强,实现图像模态信息在双语表征端的自适应融合,最终实现平行句对的判别.本文所提的方法无需提前进行图像和文本的对齐标注.首先,从预构建好的图像数据库中基于词级或实体粒度对齐抽取源语言和目标语言的相关的图像模态信息;其次,基于图文多模态门控的方式分别实现源语言和目标语言图文信息的融合,获得图像增强后的文本语义表征;最后,将双语表征信息进行融合,实现平行句对抽取.所提方法在英语-越南语、英语-德语双语平行句对抽取任务上进行了实验,证明了融合图像信息对文本平行句对抽取的有效性.
文献关键词：
平行句对抽取;图文模态门控;神经网络;信息增强
中图分类号：
作者姓名：
霍茜曈
作者机构：
昆明理工大学信息工程与自动化学院,云南 昆明 650500
文献出处：
引用格式：
[1]霍茜曈-.基于图文多模态门控增强的文本平行句对抽取方法)[J].电视技术,2022(06):46-53,57
A类：
平行句对抽取,图文模态门控
B类：
预训练模型,微调,句子,语义相似性,细粒度,像是,越语,语义鸿沟,实体信息,以图,双语对齐,锚点,模态信息,自适应融合,预构,建好,图像数据库,源语言,目标语言,图文信息,图像增强,文本语义,语义表征,越南语,德语,融合图像,图像信息,信息增强
AB值：
0.314154
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
