典型文献
基于改进BiGRU-CNN的中文文本分类方法
文献摘要:
传统的自注意力机制可以在保留原始特征的基础上突出文本的关键特征,得到更准确的文本特征向量表示,但忽视了输入序列中各位置的文本向量对输出结果的贡献度不同,导致在权重分配上存在偏离实际的情况,而双向门控循环单元(BiGRU)网络在对全局信息的捕捉上具有优势,但未考虑到文本间存在的局部依赖关系.针对上述问题,提出一种基于改进自注意力机制的BiGRU和多通道卷积神经网络(CNN)文本分类模型SAttBiGRU-MCNN.通过BiGRU对文本序列的全局信息进行捕捉,得到文本的上下文语义信息,利用优化的多通道CNN提取局部特征,弥补BiGRU忽视局部特征的不足,在此基础上对传统的自注意力机制进行改进,引入位置权重参数,根据文本向量训练的位置,对计算得到的自注意力权重概率值进行重新分配,并采用softmax得到样本标签的分类结果.在两个标准数据集上的实验结果表明,该模型准确率分别达到98.95%和88.1%,相比FastText、CNN、RCNN等分类模型,最高提升了8.99、7.31个百分点,同时精确率、召回率和F1值都有较好表现,取得了更好的文本分类效果.
文献关键词:
自注意力机制;双向门控循环单元;多通道卷积神经网络;文本分类;深度学习
中图分类号:
作者姓名:
陈可嘉;刘惠
作者机构:
福州大学 经济与管理学院,福州 350116
文献出处:
引用格式:
[1]陈可嘉;刘惠-.基于改进BiGRU-CNN的中文文本分类方法)[J].计算机工程,2022(05):59-66,73
A类:
SAttBiGRU
B类:
中文文本分类,文本分类方法,自注意力机制,关键特征,文本特征,特征向量,向量表示,各位,文本向量,输出结果,贡献度,权重分配,配上,双向门控循环单元,全局信息,依赖关系,多通道卷积神经网络,分类模型,MCNN,上下文语义,语义信息,局部特征,位置权重,注意力权重,重新分配,softmax,样本标签,标准数据集,模型准确率,FastText,RCNN,百分点,精确率,召回率,分类效果
AB值:
0.317369
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。