典型文献
一种基于时不变稳定性和夏普比率的模型泛化能力优化方法
文献摘要：
近年来随着数据规模和算力水平的提高,深度学习及相关预训练模型如ResNet等在图像识别领域取得了较快进展,其在多类应用场景的指定任务上均取得了良好表现.然而如何提高深度学习模型如ResNet等预训练模型的泛化能力,仍然是图像识别领域亟需解决的关键问题.目前通常的做法是通过网络结构的优化,或是数据集的扩充来改善模型性能,然而这些方法往往依赖于大量数据和大量时间/算力的网络结构修剪和二次训练,模型训练效率和泛化性能的优化受制于数据规模和网络结构的复杂度.针对这一挑战,我们提出了一种基于深度网络时不变稳定性的深度学习模型泛化能力优化方法,从数据分布角度出发,对深度学习预训练模型进行结构化分析,随后针对非稳定子结构进行选择性裁剪而非随机dropout来实现网络结构定向修剪,然后基于夏普比率对模型中间输出的分布进行收益分析和组合优化,生成具有弱/去相关性的有效特征,并利用自注意力机制对这些特征进行自适应加权处理,进而生成具有较好泛化能力的改进模型.理论分析及实验都表明,本方法大幅降低了模型泛化优化过程中对于训练集规模和算力的要求,从原模型训练过程中每类需要1000余张训练图片到只需要20张,大幅提高了训练效率.针对ImageNet 2012动物类数据集的泛化性能分析表明,本方法将ResNet的准确率从80.15％提高到了 86.72％,并且对数据集外部分未知动物类别的感知能力也有明显提升.
文献关键词：
时不变稳定性;协方差矩阵;深度残差网络;夏普比率;Wasserstein距离
中图分类号：
作者姓名：
邓洪武;邢凯;王志勇;李亚鸣;胡璇
作者机构：
中国科学技术大学计算机科学与技术学院,合肥230027;中国科学技术大学苏州高等研究院,江苏苏州215123
文献出处：
引用格式：
[1]邓洪武;邢凯;王志勇;李亚鸣;胡璇-.一种基于时不变稳定性和夏普比率的模型泛化能力优化方法)[J].小型微型计算机系统,2022(09):1820-1829
A类：
时不变稳定性
B类：
夏普比率,模型泛化,泛化能力,能力优化,和算,算力,预训练模型,ResNet,图像识别,多类应用场景,高深,深度学习模型,模型性能,修剪,模型训练,训练效率,泛化性能,受制于,深度网络,数据分布,结构化分析,定子,裁剪,dropout,收益分析,组合优化,有效特征,自注意力机制,自适应加权,改进模型,训练集,训练过程,每类,余张,ImageNet,动物类,感知能力,协方差矩阵,深度残差网络,Wasserstein
AB值：
0.330515
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
