典型文献
基于知识蒸馏与模型集成的事件论元抽取方法
文献摘要：
目前先进的事件论元抽取方法通常使用BERT模型作为编码器,但BERT巨大的参数量会降低效率,使模型无法在计算资源有限的设备中运行.提出一种新的事件论元抽取方法,将事件论元抽取教师模型蒸馏到2个不同的学生模型中,再对2个学生模型进行集成.构造使用BERT模型和图卷积神经网络的事件论元抽取教师模型,以及2个分别使用单层卷积神经网络和单层长短期记忆网络的学生模型.先通过均方误差损失函数对学生模型和教师模型的中间层向量进行知识蒸馏,再对分类层进行知识蒸馏,使用均方误差损失函数和交叉熵损失函数让学生模型学习教师模型分类层的知识和真实标签的知识.在此基础上,利用加权平均的方法对2个学生模型进行集成,从而提升事件论元抽取性能.使用ACE2005英文数据集进行实验,结果表明,与学生模型相比,该方法可使事件论元抽取F1值平均提升5.05个百分点,推理时间和参数量较教师模型减少90.85％和99.25％.
文献关键词：
事件论元抽取;知识蒸馏;模型集成;预训练语言模型;模型压缩
中图分类号：
作者姓名：
王士浩;王中卿;李寿山;周国栋
作者机构：
苏州大学计算机科学与技术学院,江苏苏州215006
文献出处：
引用格式：
[1]王士浩;王中卿;李寿山;周国栋-.基于知识蒸馏与模型集成的事件论元抽取方法)[J].计算机工程,2022(07):97-103
A类：
B类：
基于知识,知识蒸馏,模型集成,事件论元抽取,BERT,编码器,参数量,低效率,计算资源,模型蒸馏,学生模型,图卷积神经网络,长短期记忆网络,均方误差,中间层,行知,层进,交叉熵损失函数,模型学习,模型分类,加权平均,ACE2005,百分点,推理时间,预训练语言模型,模型压缩
AB值：
0.217372
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
