典型文献
融合双向依存自注意力机制的神经机器翻译
文献摘要：
针对神经机器翻译中资源稀缺的问题,提出了一种基于双向依存自注意力机制(Bi-Dependency)的依存句法知识融合方法.首先,利用外部解析器对源句子解析得到依存解析数据;然后,将依存解析数据转化为父词位置向量和子词权重矩阵;最后,将依存知识融合到Transformer编码器的多头注意力机制上.利用Bi-Dependency,翻译模型可以同时对父词到子词、子词到父词两个方向的依存信息进行关注.双向翻译的实验结果表明,与Transformer模型相比,在富资源情况下,所提方法在汉-泰翻译上的BLEU值分别提升了1.07和0.86,在汉-英翻译上的BLEU值分别提升了0.79和0.68;在低资源情况下,所提方法在汉-泰翻译上的BLEU值分别提升了0.51和1.06,在汉-英翻译上的BLEU值分别提升了1.04和0.40.可见Bi-Dependency为模型提供了更丰富的依存信息,能够有效提升翻译性能.
文献关键词：
神经机器翻译;双向依存注意力;多头注意力;父词;子词
中图分类号：
作者姓名：
李治瑾;赖华;文永华;高盛祥
作者机构：
昆明理工大学信息工程与自动化学院,昆明 650504;云南省人工智能重点实验室(昆明理工大学),昆明 650504
文献出处：
引用格式：
[1]李治瑾;赖华;文永华;高盛祥-.融合双向依存自注意力机制的神经机器翻译)[J].计算机应用,2022(12):3679-3685
A类：
父词,双向依存注意力
B类：
自注意力机制,神经机器翻译,中资,资源稀缺,Bi,Dependency,依存句法,知识融合,融合方法,解析器,句子,子词,权重矩阵,合到,Transformer,编码器,多头注意力机制,翻译模型,资源情况,BLEU,低资源,翻译性能
AB值：
0.267738
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
