典型文献
基于CNN⁃Head Transformer编码器的中文命名实体识别
文献摘要：
基于多头自注意力机制的Transformer作为主流特征提取器在多种自然语言处理任务中取得了优异表现,但应用于命名实体识别任务时存在一字多词、增加额外存储与词典匹配时间等问题.提出一种CNN-Head Transformer编码器(CHTE)模型,在未使用外部词典和分词工具的基础上,通过自注意力机制捕获全局语义信息,利用不同窗口大小的CNN获取Transformer中6个注意力头的Value向量,使CHTE模型在保留全局语义信息的同时增强局部特征和潜在词信息表示,并且应用自适应的门控残差连接融合当前层和子层特征,提升了Transformer在命名实体识别领域的性能表现.在Weibo和Resume数据集上的实验结果表明,CHTE模型的F1值相比于融合词典信息的Lattice LSTM和FLAT模型分别提升了3.77、2.24和1.30、0.31个百分点,具有更高的中文命名实体识别准确性.
文献关键词：
命名实体识别;自注意力机制;Transformer编码器;卷积神经网络;残差连接
中图分类号：
作者姓名：
史占堂;马玉鹏;赵凡;马博
作者机构：
中国科学院新疆理化技术研究所,乌鲁木齐 830011;中国科学院大学,北京 100049;新疆民族语音语言信息处理实验室,乌鲁木齐 830011
文献出处：
引用格式：
[1]史占堂;马玉鹏;赵凡;马博-.基于CNN⁃Head Transformer编码器的中文命名实体识别)[J].计算机工程,2022(10):73-80
A类：
CHTE
B类：
Head,Transformer,编码器,中文命名实体识别,多头自注意力机制,自然语言处理,一字,增加额,外存,词典,匹配时间,分词,全局语义信息,同窗,Value,局部特征,词信息,门控残差,残差连接,Weibo,Resume,Lattice,FLAT,百分点
AB值：
0.235037
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
