典型文献
基于BERT-AWC的文本分类方法研究
文献摘要：
针对现有文本分类算法处理中文数据时存在的分类精度低、参数量庞大、模型难训练等问题,对BERT算法进行了优化.BERT算法处理中文文本时无法提取词向量特征,为此提出了均匀词向量卷积模块AWC.通过在传统卷积神经网络中引入注意力机制来提取可靠词向量特征,再进一步获取到文本的局部特征,由此弥补了BERT模型无法提取词向量的缺点.BERT模型本身具有的自注意力网络可提取到文本的全局特征来突出全文的重点含义,与此同时在BERT算法中又引入了局部特征,通过将描述文本的局部特征以及全局特征按照重要程度进行融合,最终生成了更加丰富的文本信息.将融合后的特征输入softmax层得到模型的分类结果.平衡多头设计、层级参数共享机制、全连接层优化等方法的运用在保证算法准确度的前提下大大降低了模型参数量,最终形成了一种基于混合注意力机制的BERT-AWC轻量化文本分类算法.在多个公开数据集上的实验结果表明,相较于基准算法BERT,该算法在多个公开数据集上的预测精度均有1～5％的提升,而模型参数量仅为BERT的3.6％,达到了设计预期.
文献关键词：
文本分类;注意力机制;卷积神经网络;混合注意力机制
中图分类号：
作者姓名：
李金彪;侯进;李晨;陈子锐;何川
作者机构：
西南交通大学信息科学与技术学院智能感知智慧运维实验室,四川成都611756;西南交通大学综合交通大数据应用技术国家工程实验室,四川成都611756;西南交通大学计算机与人工智能学院,四川成都611756
文献出处：
引用格式：
[1]李金彪;侯进;李晨;陈子锐;何川-.基于BERT-AWC的文本分类方法研究)[J].微电子学与计算机,2022(06):41-50
A类：
B类：
BERT,AWC,文本分类方法,分类算法,中文数据,分类精度,中文文本,取词,词向量,卷积模块,再进一步,取到,局部特征,自注意力网络,全局特征,重要程度,终生,文本信息,softmax,多头,参数共享,共享机制,全连接层,大大降低,模型参数量,混合注意力机制,公开数据集
AB值：
0.277785
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
