典型文献
面向语言模型的全自动单元结构搜索
文献摘要：
可微神经网络结构搜索(DARTS)是目前主流的神经结构搜索(Neural architecture search,NAS)方法之一,但大多数基于DARTS的方法都应用于计算机视觉领域,在自然语言处理领域的研究相对较少.语言模型是目前NAS在自然语言领域应用较多的任务,DARTS在应用于语言模型任务时,会先对输入进行人工处理,整个过程为:输入-人工处理-结构搜索-输出,不满足NAS不靠人工干预,让机器自动设计网络结构的初衷.本文在DARTS的基础上提出了 一种基于全自动搜索单元的NAS方法:1)移除结构搜索前的人工处理过程,实现整个单元搜索过程自动化;2)增加节点和操作数量抵消移除人工处理过程带来的模型规模和复杂度降低的影响;3)Softmax决策优化.本文提出的方法实现了单元搜索过程全自动化,搜索到的模型结构也在PTB和WT2数据集上取得了一定的竞争性.
文献关键词：
神经网络结构搜索;语言模型;自然与语言处理;DARTS
中图分类号：
作者姓名：
万全;吴霖;余正涛
作者机构：
昆明理工大学信息工程与自动化学院,昆明650500;昆明理工大学云南省人工智能重点实验室,昆明650500
文献出处：
引用格式：
[1]万全;吴霖;余正涛-.面向语言模型的全自动单元结构搜索)[J].小型微型计算机系统,2022(11):2308-2313
A类：
移除结构,WT2,自然与语言处理
B类：
语言模型,单元结构,可微,微神,神经网络结构搜索,DARTS,神经结构搜索,Neural,architecture,search,NAS,计算机视觉,自然语言处理,语言领域,不靠,人工干预,自动设计,设计网,初衷,自动搜索,索单元,过程自动化,操作数,抵消,Softmax,决策优化,全自动化,模型结构,PTB,竞争性
AB值：
0.346876
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
