典型文献
优化搜索空间下带约束的可微分神经网络架构搜索
文献摘要：
可微分架构搜索(DARTS)可高效、自动地设计神经网络架构,但其超网络的构建方式与派生策略的设计之间存在性能"鸿沟".针对上述问题,提出了优化搜索空间下带约束的可微分神经网络架构搜索算法.首先,以候选操作关联的架构参数为量化指标来分析超网络的训练过程,发现在派生架构中未生效的候选操作none占据了权重最大的架构参数,从而导致算法搜得的架构表现欠佳,针对该问题设计了优化的搜索空间;然后,分析了DARTS超网络与派生架构之间的差异后,以架构参数为基础定义了架构熵,并把架构熵作为DARTS超网络目标函数的约束项,从而促使超网络缩小与派生架构的差异;最后,在CIFAR-10数据集上进行了实验.实验结果表明,所提算法在其中搜得的架构取得了97.17％的分类准确率,综合准确率、参数量和搜索时间优于对比算法.所提出的算法是有效的,提升了搜得架构在CIFAR-10数据集上的准确率.
文献关键词：
卷积神经网络;网络架构搜索;可微分架构搜索;架构确定性;架构熵
中图分类号：
作者姓名：
李建明;陈斌;江志伟;覃健
作者机构：
中国科学院成都计算机应用研究所,成都610041;中国科学院大学,北京100049;哈尔滨工业大学(深圳)国际人工智能研究院,广东深圳518055;中科院广州电子技术有限公司,广州510070
文献出处：
引用格式：
[1]李建明;陈斌;江志伟;覃健-.优化搜索空间下带约束的可微分神经网络架构搜索)[J].计算机应用,2022(01):44-49
A类：
可微分架构搜索,架构熵,架构确定性
B类：
搜索空间,微分神经网络,神经网络架构搜索,DARTS,超网络,构建方式,派生,存在性,鸿沟,搜索算法,以候,量化指标,训练过程,none,问题设计,基础定义,约束项,CIFAR,分类准确率,参数量,搜索时间,对比算法
AB值：
0.224741
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
