典型文献
DistillBIGRU:基于知识蒸馏的文本分类模型
文献摘要：
文本分类模型可分为预训练语言模型和非预训练语言模型,预训练语言模型的分类效果较好,但模型包含的参数量庞大,对硬件算力的要求较高,限制了其在许多下游任务中的使用.非预训练语言模型结构相对简单,推算速度快,对部署环境的要求低,但效果较差.针对以上问题,该文提出了基于知识蒸馏的文本分类模型Distill-BIGRU,构建MPNetGCN模型作为教师模型,选择双向门控循环单元网络作为学生模型,通过知识蒸馏得到最终模型DistillBIGRU.在多个数据集上教师模型MPNetGCN的平均分类准确率相比BERTGCN提高了1.3％,Dis-tillBIGRU模型在参数量约为BERT-Base模型1/9的条件下,达到了与BERT-Base模型相当的文本分类效果.
文献关键词：
文本分类;知识蒸馏;双向门控循环单元
中图分类号：
作者姓名：
黄友文;魏国庆;胡燕芳
作者机构：
江西理工大学 信息工程学院,江西 赣州 341000
文献出处：
引用格式：
[1]黄友文;魏国庆;胡燕芳-.DistillBIGRU:基于知识蒸馏的文本分类模型)[J].中文信息学报,2022(04):81-89
A类：
DistillBIGRU,Distill,MPNetGCN,BERTGCN,tillBIGRU
B类：
基于知识,知识蒸馏,文本分类,分类模型,预训练语言模型,分类效果,参数量,算力,多下,模型结构,推算,双向门控循环单元,门控循环单元网络,学生模型,终模型,平均分,分类准确率,Base
AB值：
0.210789
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
