典型文献
结合自注意力和残差的BiLSTM_CNN文本分类模型
文献摘要:
双向长短期记忆网络(BiLSTM)和卷积神经网络(CNN)很难在文本的多分类任务中提取到足够的文本信息.提出了一种基于自注意力机制(self_attention)和残差网络(ResNet)的BiLSTM_CNN复合模型.通过自注意力赋予卷积运算后信息的权重,接着将池化后的特征信息层归一化并接入残差网络,让模型学习到残差信息,从而进一步提高模型的分类性能.在模型的运算过程中,使用了更加光滑的Mish非线性激活函数代替Relu.通过与深度学习模型对比,所提出的方法在准确率以及F1值评价指标上均优于现有模型,为文本分类问题提供了新的研究思路.
文献关键词:
自注意力机制;双向长短期记忆网络;残差网络;卷积神经网络;层归一化
中图分类号:
作者姓名:
杨兴锐;赵寿为;张如学;杨兴俊;陶叶辉
作者机构:
上海工程技术大学 数理与统计学院,上海 201620;重庆大学 机械与运载工程学院,重庆 400044;上海工程技术大学 管理学院,上海 201620
文献出处:
引用格式:
[1]杨兴锐;赵寿为;张如学;杨兴俊;陶叶辉-.结合自注意力和残差的BiLSTM_CNN文本分类模型)[J].计算机工程与应用,2022(03):172-180
A类:
B类:
BiLSTM,文本分类,分类模型,双向长短期记忆网络,多分类,分类任务,取到,文本信息,自注意力机制,self,attention,残差网络,ResNet,复合模型,卷积运算,池化,特征信息,层归一化,模型学习,分类性能,运算过程,Mish,激活函数,数代,Relu,深度学习模型,模型对比,现有模型,分类问题
AB值:
0.334046
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。