典型文献
基于样本个体差异性的深度神经网络训练方法
文献摘要：
深度神经网络目前在许多任务中的表现已经达到甚至超越了人类的水平,但是其泛化能力和人类相比还是相去甚远.如何提高网络的泛化性,一直是重要的研究方向之一.围绕这个方向开展的大量卓有成效的研究,从扩展增强训练数据、通过正则化抑制模型复杂度、优化训练策略等角度,提出了很多行之有效的方法.这些方法对于训练数据集来说都是某种全局性质的策略,每一个样本数据都会被平等的对待.但是,每一个样本数据由于其携带的信息量、噪声等的不同,在训练过程中,对模型的拟合性能和泛化性能的影响也应该是有差异性的.针对是否一些样本在反复的迭代训练中更倾向于使得模型过度拟合,如何找到这些样本,是否可以通过对不同的样本采用差异化的抗过拟合策略使得模型获得更好的泛化性能等问题,提出了一种依据样本数据的差异性来训练深度神经网络的方法,首先使用预训练模型对每一个训练样本进行评估,判断每个样本对该模型的拟合效果;然后依据评估结果将训练集分为易使得模型过拟合的样本和普通的样本两个子集;最后,再使用两个子集的数据对模型进行交替训练,过程中对易使得模型过拟合的子集采用更强有力的抗过拟合策略.通过在不同的数据集上对多种深度模型进行的一系列实验,验证了该方法在典型的分类任务和细粒度分类任务中的效果.
文献关键词：
深度神经网络;泛化性;正则化;权重衰减
中图分类号：
作者姓名：
李响;刘明;刘明辉;姜庆;曹扬
作者机构：
电子科技大学 计算机科学与工程学院,四川 成都 611731;中电科大数据研究院有限公司,贵州 贵阳 550022
文献出处：
引用格式：
[1]李响;刘明;刘明辉;姜庆;曹扬-.基于样本个体差异性的深度神经网络训练方法)[J].软件学报,2022(12):4534-4544
A类：
B类：
个体差异性,深度神经网络,神经网络训练,训练方法,多任务,泛化能力,相去甚远,卓有成效,正则化,模型复杂度,训练策略,多行,训练数据集,全局性,一个样,信息量,训练过程,泛化性能,该是,迭代训练,过度拟合,过拟合,预训练模型,训练样本,拟合效果,训练集,子集,交替训练,集采,深度模型,系列实验,分类任务,细粒度分类,权重衰减
AB值：
0.341654
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
