典型文献
基于Transformer编码器的中文命名实体识别模型
文献摘要:
命名实体识别是自然语言处理中的重要任务,且中文命名实体识别相比于英文命名实体识别任务更具难度.传统中文实体识别模型通常基于深度神经网络对文本中的所有字符打上标签,再根据标签序列识别命名实体,但此类基于字符的序列标注方式难以获取词语信息.提出一种基于Transformer编码器的中文命名实体识别模型,在字嵌入过程中使用结合词典的字向量编码方法使字向量包含词语信息,同时针对Transformer编码器在注意力运算时丢失字符相对位置信息的问题,改进Transformer编码器的注意力运算并引入相对位置编码方法,最终通过条件随机场模型获取最优标签序列.实验结果表明,该模型在Resume和Weibo中文命名实体识别数据集上的F1值分别达到94.7%和58.2%,相比于基于双向长短期记忆网络和ID-CNN的命名实体识别模型均有所提升,具有更优的识别效果和更快的收敛速度.
文献关键词:
自然语言处理;中文命名实体识别;Transformer编码器;条件随机场;相对位置编码
中图分类号:
作者姓名:
司逸晨;管有庆
作者机构:
南京邮电大学物联网学院,南京210003
文献出处:
引用格式:
[1]司逸晨;管有庆-.基于Transformer编码器的中文命名实体识别模型)[J].计算机工程,2022(07):66-72
A类:
B类:
Transformer,编码器,中文命名实体识别,识别模型,自然语言处理,深度神经网络,字符,打上,上标,序列识别,序列标注,取词,词语,字嵌入,词典,字向量,向量编码,编码方法,时针,位置信息,相对位置编码,条件随机场,Resume,Weibo,别数,双向长短期记忆网络,ID,收敛速度
AB值:
0.194886
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。