典型文献
基于小样本无梯度学习的卷积结构预训练模型性能优化方法
文献摘要：
针对卷积结构的深度学习模型在小样本学习场景中泛化性能较差的问题,以AlexNet和ResNet为例,提出一种基于小样本无梯度学习的卷积结构预训练模型的性能优化方法.首先基于因果干预对样本数据进行调制,由非时序数据生成序列数据,并基于协整检验从数据分布平稳性的角度对预训练模型进行定向修剪;然后基于资本资产定价模型(CAPM)以及最优传输理论,在预训练模型中间输出过程中进行无需梯度传播的正向学习并构建一种全新的结构,从而生成在分布空间中具有明确类间区分性的表征向量;最后基于自注意力机制对生成的有效特征进行自适应加权处理,并在全连接层对特征进行聚合,从而生成具有弱相关性的embedding向量.实验结果表明所提出的方法能够使AlexNet和ResNet卷积结构预训练模型在ImageNet 2012数据集的100类图片上的Top-1准确率分别从58.82％、78.51％提升到68.50％、85.72％,可见所提方法能够基于小样本训练数据有效提高卷积结构预训练模型的性能.
文献关键词：
资本资产定价模型;Wasserstein距离;无梯度学习;自注意力机制;预训练模型
中图分类号：
作者姓名：
李亚鸣;邢凯;邓洪武;王志勇;胡璇
作者机构：
中国科学技术大学计算机科学与技术学院,合肥230027;中国科学技术大学苏州高等研究院,江苏苏州215123
文献出处：
引用格式：
[1]李亚鸣;邢凯;邓洪武;王志勇;胡璇-.基于小样本无梯度学习的卷积结构预训练模型性能优化方法)[J].计算机应用,2022(02):365-374
A类：
无梯度学习
B类：
本无,预训练模型,模型性能,性能优化方法,深度学习模型,小样本学习,学习场景,泛化性能,AlexNet,ResNet,因果干预,时序数据,数据生成,序列数据,协整检验,数据分布,平稳性,修剪,资本资产定价模型,CAPM,最优传输理论,出过,区分性,自注意力机制,有效特征,自适应加权,全连接层,embedding,ImageNet,Top,样本训练,训练数据,Wasserstein
AB值：
0.30543
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
