典型文献
时空特征融合网络的多目标跟踪与分割
文献摘要：
目的 多目标跟踪与分割是计算机视觉领域一个重要的研究方向.现有方法多是借鉴多目标跟踪领域先检测然后进行跟踪与分割的思路,这类方法对重要特征信息的关注不足,难以处理目标遮挡等问题.为了解决上述问题,本文提出一种基于时空特征融合的多目标跟踪与分割模型,利用空间三坐标注意力模块和时间压缩自注意力模块选择出显著特征,以此达到优异的多目标跟踪与分割性能.方法 本文网络由2D编码器和3D解码器构成,首先将多幅连续帧图像输入到2D编码层,提取出不同分辨率的图像特征,然后从低分辨率的特征开始通过空间三坐标注意力模块得到重要的空间特征,通过时间压缩自注意力模块获得含有关键帧信息的时间特征,再将两者与原始特征融合,然后与较高分辨率的特征共同输入3D卷积层,反复聚合不同层次的特征,以此得到融合多次的既有关键时间信息又有重要空间信息的特征,最后得到跟踪和分割结果.结果 实验在YouTube-VIS(YouTube video instance segmentation)和 KITTI MOTS(multi-object tracking and segmentation)两个数据集上进行定量评估.在YouTube-VIS数据集中,相比于性能第2的CompFeat模型,本文方法的AP(average precision)值提高了 0.2％.在KITTI MOTS数据集中,相比于性能第2的STEm-Seg模型,在汽车类上,本文方法的ID switch指标减少了 9;在行人类上,本文方法的 sMOTSA(soft multi-object tracking and segmentation accuracy)、MOTS A(multi-object tracking and seg-mentation accuracy)和 MOTSP(multi-object tracking and segmentation precision)分别提高了 0.7％、0.6％和 0.9％,ID switch指标减少了 1.在KITTI MOTS数据集中进行消融实验,验证空间三坐标注意力模块和时间压缩自注意力模块的有效性,消融实验结果表明提出的算法改善了多目标跟踪与分割的效果.结论 提出的多目标跟踪与分割模型充分挖掘多帧图像之间的特征信息,使多目标跟踪与分割的结果更加精准.
文献关键词：
深度学习;多目标跟踪与分割(MOTS);3D卷积神经网络;特征融合;注意力机制
中图分类号：
作者姓名：
刘雨亭;张开华;樊佳庆;刘青山
作者机构：
南京信息工程大学数字取证教育部工程研究中心,南京 210044
文献出处：
引用格式：
[1]刘雨亭;张开华;樊佳庆;刘青山-.时空特征融合网络的多目标跟踪与分割)[J].中国图象图形学报,2022(11):3257-3266
A类：
多目标跟踪与分割,CompFeat,STEm,sMOTSA,MOTSP
B类：
时空特征,特征融合网络,计算机视觉,特征信息,遮挡,分割模型,三坐标,坐标注意力,时间压缩,自注意力模块,显著特征,2D,编码器,解码器,多幅,编码层,图像特征,低分辨率,空间特征,通过时间,关键帧,时间特征,卷积层,不同层次,时间信息,空间信息,YouTube,VIS,video,instance,segmentation,KITTI,multi,object,tracking,定量评估,AP,average,precision,Seg,汽车类,ID,switch,soft,accuracy,消融实验,多帧图像,注意力机制
AB值：
0.228536
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
