典型文献
基于BERT的初等数学文本命名实体识别方法
文献摘要:
在初等数学领域的命名实体识别(NER)中,针对传统命名实体识别方法中词嵌入无法表征一词多义以及特征提取过程中忽略部分局部特征的问题,提出一种基于BERT的初等数学文本命名实体识别方法——BERT-BiLSTM-IDCNN-CRF.首先,采用BERT进行预训练,然后将训练得到的词向量输入到双向长短期记忆(BiLSTM)网络与迭代膨胀卷积网络(IDCNN)中提取特征,再将两种神经网络输出的特征进行合并,最后经过条件随机场(CRF)修正后进行输出.实验结果表明:BERT-BiLSTM-IDCNN-CRF在初等数学试题数据集上的F1值为93.91%,相较于BiLSTM-CRF基准方法的F1值提升了4.29个百分点,相较于BERT-BiLSTM-CRF方法的F1值提高了1.23个百分点;该方法对线、角、面、数列等实体识别的F1值均高于91%,验证了该方法对初等数学实体识别的有效性.此外,在所提方法的基础上结合注意力机制后,该方法的召回率下降了0.67个百分点,但准确率上升了0.75个百分点,注意力机制的引入对所提方法的识别效果提升不大.
文献关键词:
命名实体识别;初等数学;BERT;双向长短期记忆网络;膨胀卷积;注意力机制
中图分类号:
作者姓名:
张毅;王爽胜;何彬;叶培明;李克强
作者机构:
重庆邮电大学通信与信息工程学院,重庆400065
文献出处:
引用格式:
[1]张毅;王爽胜;何彬;叶培明;李克强-.基于BERT的初等数学文本命名实体识别方法)[J].计算机应用,2022(02):433-439
A类:
迭代膨胀卷积网络
B类:
BERT,初等数学,数学文本,本命,命名实体识别,实体识别方法,数学领域,NER,中词,词嵌入,一词多义,分局,局部特征,BiLSTM,IDCNN,CRF,预训练,练得,词向量,提取特征,行合并,条件随机场,数学试题,基准方法,百分点,数列,注意力机制,召回率,效果提升,双向长短期记忆网络
AB值:
0.221579
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。