典型文献
基于源语言句法增强解码的神经机器翻译方法
文献摘要:
当前性能最优的机器翻译模型之一Transformer基于标准的端到端结构,仅依赖于平行句对,默认模型能够自动学习语料中的知识;但这种建模方式缺乏显式的引导,不能有效挖掘深层语言知识,特别是在语料规模和质量受限的低资源环境下,句子解码缺乏先验约束,从而造成译文质量下降.为了缓解上述问题,提出了基于源语言句法增强解码的神经机器翻译(SSED)方法,显式地引入源语句句法信息指导解码.所提方法首先利用源语句句法信息构造句法感知的遮挡机制,引导编码自注意力生成一个额外的句法相关表征;然后将句法相关表征作为原句表征的补充,通过注意力机制融入解码,共同指导目标语言的生成,实现对模型的先验句法增强.在多个IWSLT及WMT标准机器翻译评测任务测试集上的实验结果显示,与Transformer基线模型相比,所提方法的BLEU值提高了0.84~3.41,达到了句法相关研究的最先进水平.句法信息与自注意力机制融合是有效的,利用源语言句法可指导神经机器翻译系统的解码过程,显著提高译文质量.
文献关键词:
自然语言处理;神经机器翻译;句法信息;Transformer;增强解码;外部知识融入
中图分类号:
作者姓名:
龚龙超;郭军军;余正涛
作者机构:
昆明理工大学 信息工程与自动化学院,昆明 650504;云南省人工智能重点实验室(昆明理工大学),昆明 650504
文献出处:
引用格式:
[1]龚龙超;郭军军;余正涛-.基于源语言句法增强解码的神经机器翻译方法)[J].计算机应用,2022(11):3386-3394
A类:
增强解码,SSED,造句法,外部知识融入
B类:
源语言,神经机器翻译,翻译方法,翻译模型,Transformer,端到端,默认,自动学习,习语,建模方式,显式,语言知识,语料规模,低资源,资源环境,句子,先验,译文质量,语句,句句,句法信息,遮挡,同指,目标语言,IWSLT,WMT,标准机,评测,测试集,基线模型,BLEU,最先,自注意力机制,注意力机制融合,翻译系统,自然语言处理
AB值:
0.291982
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。