典型文献
基于时序信息对齐的连续手语跨模态知识蒸馏
文献摘要：
近年来,连续手语识别的研究工作主要围绕RGB模态的数据展开,并且在现实场景数据集和实验室采集数据集上都取得了显著进展.然而,RGB模态的处理对设备计算能力具有很高的要求,而骨骼关键点模态则由于输入数据复杂度相对低,因此处理速度更快,只是在识别性能上弱于RGB模态.为了综合两种方法的优点,文中提出了一种基于时序关联信息对齐的跨模态知识蒸馏方法(Temporally Related Knowledge Distillation,TRKD).该方法使用RGB模态的神经网络作为教师网络来指导使用骨骼关键点模态的学生网络,以快速准确地实现连续手语识别.由于教师网络对手语语境的理解能力十分值得学生网络学习,因此提出了具有先验信息以及自适应学习方法的图卷积网络来提取两类模态中的时序关联特征,并通过特征对齐来实现教学.在特征对齐过程中,在教师网络中引入可学习参数会导致教师提供的监督信息丢失.为了解决这个问题,所提出的TRKD方法引入了自监督学习中的对比学习来提供监督信息,从而实现了教师网络与学生网络在时序关联特征上的对齐.文中在Phoenix-2014手语数据集上组织了多项蒸馏任务,以验证所提方法的有效性.
文献关键词：
知识蒸馏;图卷积网络;手语识别
中图分类号：
作者姓名：
肖正业;林世铨;万修安;方昱春;倪兰
作者机构：
上海大学计算机工程与科学学院 上海 200444;上海大学文学院 上海 200444
文献出处：
引用格式：
[1]肖正业;林世铨;万修安;方昱春;倪兰-.基于时序信息对齐的连续手语跨模态知识蒸馏)[J].计算机科学,2022(11):156-162
A类：
TRKD
B类：
时序信息,跨模态,知识蒸馏,连续手语识别,RGB,现实场景,采集数据,计算能力,骨骼关键点,输入数据,此处,处理速度,识别性,时序关联,联信,Temporally,Related,Knowledge,Distillation,教师网络,学生网络,快速准确,语语,理解能力,网络学习,先验信息,自适应学习,图卷积网络,关联特征,特征对齐,可学习参数,监督信息,信息丢失,自监督学习,对比学习,Phoenix
AB值：
0.313012
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
