典型文献
基于细粒度视觉特征和知识图谱的视觉故事生成算法
文献摘要：
视觉故事生成是图像内容描述衍生的跨模态学习任务,在图文游记自动生成、启蒙教育等领域有较好的应用研究意义.目前主流方法存在对图像细粒度特征描述薄弱、故事文本的图文相关性低、语言不丰富等问题.为此,该文提出了基于细粒度视觉特征和知识图谱的视觉故事生成算法.该算法针对如何对图像内容进行充分挖掘和扩展表示,在视觉和高层语义方面,分别设计实现了图像细粒度视觉特征生成器和图像语义概念词集合生成器两个重要模块.在这两个模块中,细粒度视觉信息通过含有实体关系的场景图结构进行图卷积学习,高层语义信息综合外部知识图谱与相邻图像的语义关联进行扩充丰富,最终实现对图像序列内容较为全面细致的表示.该文算法在目前视觉故事生成领域规模最大的VIST数据集上与主流先进的算法进行了测试.实验结果表明,该文所提算法生成的故事文本,在图文相关性、故事逻辑性、文字多样性等方面,在Distinct-N和TTR等客观指标上均取得较大领先优势,具有良好的应用前景.
文献关键词：
视觉故事生成;场景图;知识图谱;文本生成;细粒度视觉特征
中图分类号：
作者姓名：
李朦朦;江爱文;龙羽中;宁铭;彭虎;王明文
作者机构：
江西师范大学 计算机信息工程学院,江西 南昌 330022;九江学院 计算机与大数据科学学院,江西 九江 332005
文献出处：
引用格式：
[1]李朦朦;江爱文;龙羽中;宁铭;彭虎;王明文-.基于细粒度视觉特征和知识图谱的视觉故事生成算法)[J].中文信息学报,2022(09):139-148
A类：
细粒度视觉特征,视觉故事生成
B类：
生成算法,跨模态学习,学习任务,图文,游记,自动生成,启蒙教育,研究意义,主流方法,细粒度特征,特征描述,故事文本,设计实现,特征生成,生成器,和图像,概念词,词集,视觉信息,实体关系,场景图,图结构,图卷积,语义信息,外部知识,语义关联,图像序列,VIST,逻辑性,Distinct,TTR,客观指标,文本生成
AB值：
0.311524
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
