典型文献
结合关键帧提取的视频-文本跨模态实体分辨双重编码方法
文献摘要：
现有的视频-文本跨模态实体分辨方法在视频处理上均采用均匀取帧的方法,必然导致视频信息的丢失,增加问题的复杂度.针对这一问题,提出一种结合关键帧提取的视频-文本跨模态实体分辨双重编码方法(DEIKFE).以充分保留视频信息表征为前提,设计关键帧提取算法提取视频中的关键帧,获得视频关键帧集合表示.对于视频关键帧集合和文本,采用多级编码的方法,分别提取表征视频和文本的全局、局部和时序的特征,将其进行拼接形成多级编码表示.将该编码表示映射至共同嵌入空间,采用强负样本跨模态三元组损失对模型参数进行优化,使得匹配的视频-文本相似度越大,而不匹配的视频-文本相似度越小.通过在MSR-VTT、VATEX两个数据集上进行实验验证,与现有方法进行对比,在总体性能R@sum上分别提升了9.22％、2.86％,证明了该方法的优越性.
文献关键词：
跨模态实体分辨;关键帧提取;共同嵌入空间;双重编码;强负样本
中图分类号：
作者姓名：
曾志贤;曹建军;翁年凤;蒋国权;范强
作者机构：
国防科技大学 计算机学院,湖南 长沙410003;国防科技大学 第六十三研究所,江苏 南京210007
文献出处：
引用格式：
[1]曾志贤;曹建军;翁年凤;蒋国权;范强-.结合关键帧提取的视频-文本跨模态实体分辨双重编码方法)[J].兵工学报,2022(05):1107-1116
A类：
跨模态实体分辨,DEIKFE,共同嵌入空间,强负样本,VATEX
B类：
关键帧提取,双重编码,编码方法,视频处理,视频信息,分保,信息表征,视频关键帧,多级编码,提取表征,拼接,编码表示,三元组损失,文本相似度,MSR,VTT,总体性能,sum
AB值：
0.200568
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
