典型文献
融合BERT词嵌入和注意力机制的中文文本分类
文献摘要：
文本分类是自然语言处理的一个重要领域.近年来,深度学习的方法被广泛应用于文本分类任务中.在处理大规模的数据时,为了兼顾分类的精度和处理效率,本文使用BERT训练词向量作为嵌入层,进一步优化输入语句的词向量,然后用双层的GRU网络作为主体网络,充分提取文本的上下文特征,最后使用注意力机制,将目标语句重点突出,进行文本分类.实验证明,BERT作为嵌入层输入时,有效优化了词向量.同时,文本提出的BBGA模型具有高效的处理能力,在处理THUCNews数据集时,达到了94.34％的精确度,比TextCNN高出5.20％,比BERT_RNN高出1.01％.
文献关键词：
文本分类;自然语言处理;BERT;深度学习
中图分类号：
作者姓名：
孙红;陈强越
作者机构：
上海理工大学 光电信息与计算机工程学院,上海200093
文献出处：
引用格式：
[1]孙红;陈强越-.融合BERT词嵌入和注意力机制的中文文本分类)[J].小型微型计算机系统,2022(01):22-26
A类：
BBGA
B类：
BERT,词嵌入,注意力机制,中文文本分类,自然语言处理,分类任务,处理效率,词向量,嵌入层,语句,GRU,分提,上下文特征,目标语,有效优化,处理能力,THUCNews,TextCNN,RNN
AB值：
0.323427
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
