典型文献
一种基于BERT和池化操作的文本分类模型
文献摘要：
使用预训练语言模型的微调方法在以文本分类为代表的许多自然语言处理任务中取得了良好的效果,尤其以基于Transformer框架的BERT模型为典型代表.然而,BERT直接使用[CLS]对应的向量作为文本表征,没有从全局和局部考虑文本的特征,从而限制了模型的分类性能.因此,本文提出一种引入池化操作的文本分类模型,使用平均池化、最大池化以及K-MaxPooling等池化方法从BERT输出矩阵中提取文本的表征向量.实验结果表明,与原始的BERT模型相比,本文提出的引入池化操作的文本分类模型具有更好的性能,在实验的所有文本分类任务中,其准确率和F1-Score值均优于BERT模型.
文献关键词：
文本分类;分类模型;BERT;平均池化;最大池化;K-MaxPooling
中图分类号：
作者姓名：
张军;邱龙龙
作者机构：
东华理工大学软件学院,江西 南昌330013;东华理工大学信息工程学院,江西 南昌330013
文献出处：
引用格式：
[1]张军;邱龙龙-.一种基于BERT和池化操作的文本分类模型)[J].计算机与现代化,2022(06):1-7
A类：
MaxPooling
B类：
BERT,池化操作,文本分类,分类模型,预训练语言模型,微调,自然语言处理,Transformer,CLS,文本表征,分类性能,平均池化,最大池化,分类任务,Score
AB值：
0.257719
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
