典型文献
基于多模态融合的文本生成图像
文献摘要：
生成对抗网络在近几年发展迅速,文本语义和视觉语义之间的联系是文本生成图像的关键,使用生成对抗网络能够生成和文本相匹配的逼真图片.如今,传统的方法是只使用文本编码的方式预训练来对文本进行编码,但是这种算法并没有考虑到与相对应的图像进行语义匹配,而是将输入的文字单独编码,这就导致文本和图像存在语义上的差异性.因此,本文提出了一种基于多模态融合的文本生成图像网络(MLT-GAN).通过对齐文字信息和视觉信息,来实现图像和文本之间的交互,提高了生成图像的逼真性以及和输入文本的匹配性.实验结果,在Coco数据集和CUB数据集上,相较于DM-GAN模型,本文提出的MLT-GAN模型的FID分数降低了4.66％和5.16％,IS指标提高了1.41％和1.68％,证明了此方法的有效性.
文献关键词：
生成对抗网络;文本描述;多模态融合;文本生成图像;语义匹配
中图分类号：
作者姓名：
叶龙;王正勇;何小海
作者机构：
四川大学 电子信息学院,成都610065
文献出处：
引用格式：
[1]叶龙;王正勇;何小海-.基于多模态融合的文本生成图像)[J].智能计算机与应用,2022(11):9-17
A类：
Coco
B类：
多模态融合,文本生成图像,生成对抗网络,文本语义,文本编码,预训练,语义匹配,和图像,语义上,MLT,GAN,对齐,文字信息,视觉信息,逼真性,匹配性,CUB,DM,FID,IS,文本描述
AB值：
0.269773
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
