典型文献
融合时序特征约束与联合优化的点云3维人体姿态序列估计
文献摘要：
目的 3维人体姿态估计传统方法通常采用单帧点云作为输入,可能会忽略人体运动平滑度的固有先验知识,导致产生抖动伪影.目前,获取2维人体姿态标注的真实图像数据集相对容易,而采集大规模的具有高质量3维人体姿态标注的真实图像数据集进行完全监督训练有一定难度.对此,本文提出了一种新的点云序列3维人体姿态估计方法.方法 首先从深度图像序列估计姿态相关点云,然后利用时序信息构建神经网络,对姿态相关点云序列的时空特征进行编码.选用弱监督深度学习,以利用大量的更容易获得的带2维人体姿态标注的数据集.最后采用多任务网络对人体姿态估计和人体运动预测进行联合训练,提高优化效果.结果 在两个数据集上对本文算法进行评估.在ITOP(invariant-top view dataset)数据集上,本文方法的平均精度均值(mean average preci-sion,mAP)比对比方法分别高0.99％、13.18％和17.96％.在NTU-RGBD数据集上,本文方法的mAP值比最先进的WSM(weakly supervised adversarial learning methods)方法高7.03％.同时,在ITOP数据集上对模型进行消融实验,验证了算法各个不同组成部分的有效性.与单任务模型训练相比,多任务网络联合进行人体姿态估计和运动预测的mAP可以提高2％ 以上.结论 本文提出的点云序列3维人体姿态估计方法能充分利用人体运动连续性的先验知识,获得更平滑的人体姿态估计结果,在ITOP和NTU-RGBD数据集上都能获得很好的效果.采用多任务网络联合优化策略,人体姿态估计和运动预测两个任务联合优化求解,有互相促进的作用.
文献关键词：
人体运动;人体姿态估计;人体运动预测;点云序列;弱监督学习
中图分类号：
作者姓名：
廖联军;钟重阳;张智恒;胡磊;张子豪;夏时洪
作者机构：
中国科学院计算技术研究所, 北京 100190;中国科学院大学,计算机科学与技术学院, 北京 100049;北方工业大学信息学院, 北京 100144
文献出处：
引用格式：
[1]廖联军;钟重阳;张智恒;胡磊;张子豪;夏时洪-.融合时序特征约束与联合优化的点云3维人体姿态序列估计)[J].中国图象图形学报,2022(12):3608-3621
A类：
点云序列,人体运动预测,ITOP
B类：
时序特征,特征约束,联合优化,人体姿态估计,单帧,运动平滑,先验知识,抖动,伪影,图像数据集,估计方法,深度图像,图像序列,时序信息,信息构建,时空特征,多任务网络,联合训练,高优,优化效果,invariant,top,view,dataset,平均精度均值,mean,average,preci,sion,mAP,比方,NTU,RGBD,最先,WSM,weakly,supervised,adversarial,learning,methods,消融实验,不同组成,单任务,任务模型,模型训练,利用人体,优化求解,互相促进,弱监督学习
AB值：
0.296285
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
