典型文献
基于多模态特征的视频密集描述生成方法
文献摘要：
根据视频内容自动生成文本序列的密集描述生成融合了计算机视觉与自然语言处理技术.现有密集描述生成方法多强调视频中的视觉与运动信息而忽略了其中的音频信息,关注事件的局部信息或简单的事件级上下文信息而忽略了事件间的时序结构和语义关系.为此,该文提出一种基于多模态特征的视频密集描述生成方法.该方法首先在动作提议生成阶段使用Timeception层作为基础模块以更好适应动作片段时间跨度的多样性,其次在动作提议生成和描述生成两阶段均利用音频特征增强提议和描述生成效果,最后使用时序语义关系模块建模事件间的时序结构和语义信息以进一步增强描述生成的准确性.特别地,该文还构建了一个基于学习场景的视频密集描述数据集SDVC以探究该文所提方法在学习场景现实应用中的有效性.在ActivityNet Captions和SDVC数据集上的实验结果表明,动作提议生成AUC值分别提升0.8％和6.7％;使用真实动作提议进行描述生成时,BLEU_3值分别提升1.4％和4.7％,BLEU_4值分别提升0.9％和5.3％;使用生成的动作提议进行描述生成时,SDVC数据集BLEU_3、BLEU_4值分别提升2.3％和2.2％.
文献关键词：
密集描述生成;多模态特征;时序结构;语义关系
中图分类号：
作者姓名：
马苗;陈小秋;田卓钰
作者机构：
陕西师范大学 计算机科学学院,陕西 西安 710119;现代教学技术教育部重点实验室(陕西师范大学),陕西 西安 710062
文献出处：
引用格式：
[1]马苗;陈小秋;田卓钰-.基于多模态特征的视频密集描述生成方法)[J].中文信息学报,2022(11):156-168
A类：
密集描述生成,Timeception,SDVC
B类：
多模态特征,频密,生成方法,视频内容,自动生成,成文,计算机视觉,自然语言处理技术,运动信息,音频信息,局部信息,上下文信息,了事,时序结构,语义关系,提议,基础模块,动作片,时间跨度,两阶段,音频特征,特征增强,语义信息,学习场景,现实应用,ActivityNet,Captions,真实动作,BLEU
AB值：
0.282465
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
