典型文献
针对唇语识别的上下文相关性蒸馏方法
文献摘要：
针对唇语识别模型的性能受到数据集大小限制的问题,提出一种跨模态知识蒸馏方法C2KD.C2KD将语音识别模型的多尺度上下文相关性知识蒸馏到唇语识别模型中.首先,利用Transformer模型的自注意力模块得到上下文相关性知识;其次,使用层映射策略来决定从语音识别模型的哪一层提取知识;最后,使用自适应训练策略来根据唇语识别模型的性能动态地进行知识的传递.C2KD在数据集LRS2和LRS3上取得了优异的表现,词错误率分别比基线方法低2.0％和2.7％.
文献关键词：
唇语识别;知识蒸馏;跨模态
中图分类号：
作者姓名：
赵雅;冯尊磊;王慧琼;宋明黎
作者机构：
浙江大学计算机科学与技术学院 杭州 310027;浙江大学软件学院 杭州 310027;浙江大学宁波研究院 宁波 315100;之江实验室 杭州 311121
文献出处：
引用格式：
[1]赵雅;冯尊磊;王慧琼;宋明黎-.针对唇语识别的上下文相关性蒸馏方法)[J].计算机辅助设计与图形学学报,2022(10):1559-1566
A类：
C2KD,LRS2
B类：
唇语识别,跨模态,知识蒸馏,语音识别模型,多尺度上下文,性知识,Transformer,自注意力模块,层映射,自适应训练,训练策略,行知,LRS3,错误率,比基
AB值：
0.283907
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
