典型文献
融合时空域特征的人脸表情识别
文献摘要：
目的 人脸表情识别是计算机视觉的核心问题之一.一方面,表情的产生对应着面部肌肉的一个连续动态变化过程,另一方面,该运动过程中的表情峰值帧通常包含了能够识别该表情的完整信息.大部分已有的人脸表情识别算法要么基于表情视频序列,要么基于单幅表情峰值图像.为此,提出了一种融合时域和空域特征的深度神经网络来分析和理解视频序列中的表情信息,以提升表情识别的性能.方法 该网络包含两个特征提取模块,分别用于学习单幅表情峰值图像中的表情静态"空域特征"和视频序列中的表情动态"时域特征".首先,提出了一种基于三元组的深度度量融合技术,通过在三元组损失函数中采用不同的阈值,从单幅表情峰值图像中学习得到多个不同的表情特征表示,并将它们组合在一起形成一个鲁棒的且更具辩识能力的表情"空域特征";其次,为了有效利用人脸关键组件的先验知识,准确提取人脸表情在时域上的运动特征,提出了基于人脸关键点轨迹的卷积神经网络,通过分析视频序列中的面部关键点轨迹,学习得到表情的动态"时域特征";最后,提出了一种微调融合策略,取得了最优的时域特征和空域特征融合效果.结果 该方法在3个基于视频序列的常用人脸表情数据集CK+(the extended Cohn-Kanade dataset)、MMI(the MMI facial expression database)和Oulu-CASIA(the Oulu-CASIA NIR&VIS facial expression database)上的识别准确率分别为98.46％、82.96％和87.12％,接近或超越了当前同类方法中的表情识别最高性能.结论 提出的融合时空特征的人脸表情识别网络鲁棒地分析和理解了视频序列中的面部表情空域和时域信息,有效提升了人脸表情的识别性能.
文献关键词：
人脸表情识别(FER);深度学习;深度度量学习;三元组损失;特征融合
中图分类号：
作者姓名：
陈拓;邢帅;杨文武;金剑秋
作者机构：
浙江工商大学计算机与信息工程学院,杭州 310018
文献出处：
引用格式：
[1]陈拓;邢帅;杨文武;金剑秋-.融合时空域特征的人脸表情识别)[J].中国图象图形学报,2022(07):2185-2198
A类：
深度度量融合
B类：
时空域,人脸表情识别,计算机视觉,变化过程,识别算法,要么,视频序列,单幅,深度神经网络,情信,取模,学习单,情动,时域特征,融合技术,三元组损失,损失函数,习得,特征表示,合在一起,辩识,关键组件,先验知识,运动特征,人脸关键点,面部关键点,微调,融合策略,特征融合,融合效果,表情数据集,CK+,extended,Cohn,Kanade,dataset,MMI,facial,expression,database,Oulu,CASIA,NIR,VIS,识别准确率,时空特征,识别网络,面部表情,时域信息,识别性,FER,深度度量学习
AB值：
0.316583
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
