由于现实生活场景差异大,人类在不同场景中表现的情感也不尽相同,导致获取到的情感数据集标签分布不均衡;同时传统方法多采用模型预训练和特征工程来增强与表情相关特征的表示能力,但没有考虑不同特征表达之间的互补性,限制了模型的泛化性和鲁棒性.针对上述问题,提出了一种包含网络集成模型Ens-Net的端到端深度学习框架EE-GAN:一方面考虑了多个异质网络获得的不同深度和区域的特征,实现不同语义、不同层次的特征融合,并通过网络集成以提高模型的学习能力;另一方面,基于对抗生成网络生成具有特定表情标签的面部图像,在进行数据增强的同时,达到平衡表情标签数据分布的目的.在CK+、FER2013和JAFFE数据集上的定性和定量实验验证了所提方法的有效性:相较于局部保留投影方法(LPP)在内的基于视图学习的方法,EE-GAN面部表情识别的准确率最高,分别达到了82.1％、84.8％和91.5％;同时,和AlexNet、VGG、ResNet等传统卷积神经网络(CNN)模型相比,准确率最少提高了9个百分点.

面部表情识别;生成对抗网络;网络集成;不均衡标签分布;特征融合

复旦大学工程与应用技术研究院,上海200433;上海智能机器人工程技术研究中心,上海200433;智能机器人教育部工程研究中心,上海200433;季华实验室,广东佛山528200;吉林省人工智能与无人系统工程研究中心,长春130000

[1]杨鼎康;黄帅;王顺利;翟鹏;李一丹;张立华-.基于生成对抗网络和网络集成的面部表情识别方法EE-GAN)[J].计算机应用,2022(03):750-756

不均衡标签分布

生成对抗网络,网络集成,面部表情识别,EE,GAN,现实生活,生活场景,同场,取到,数据集标签,预训练,特征工程,示能,特征表达,互补性,泛化性,集成模型,Ens,端到端,深度学习框架,异质网络,不同深度,不同层次,特征融合,对抗生成网络,表情标签,面部图像,数据增强,平衡表,标签数据,数据分布,CK+,FER2013,JAFFE,定性和定量,定量实验,局部保留投影,投影方法,LPP,视图,图学习,AlexNet,VGG,ResNet,少提,百分点

0.416706