典型文献
基于义原知识和双向注意力流的问题生成模型
文献摘要:
[目的]为解决现有模型存在的生成问题语义偏离于给定上下文文本和答案的问题,提出一种基于义原知识和双向注意力流的问题生成模型.[方法]提出两种语义增强策略:(1)通过在嵌入层融入义原外部知识的方法来捕捉比词向量更小粒度的语义知识,进而增强文本自身的语义特征.此外,通过余弦相似度算法得到更符合上下文文本语义的扩充义原知识库,这样做不仅可以筛除原有义原知识库中可能会导致语义嘈杂的义原,而且可以为词表中无义原标注的单词推荐符合语义的义原集合.(2)通过在编码层后融入双向注意力流的方法,增强文本与答案之间的语义表征.[结果]本模型在SQuAD1.1数据集上的Bleu_1、Bleu_2、Bleu 3、Blue 4评价指标分别达到46.70%、31.07%、22.90%、17.48%.实验证明,本文所提改进模型性能优于基线模型.[局限]当融入双向注意力流时,由于模型需要分别对段落文本及问题进行特征提取,因此训练模型时需要消耗成倍的内存和时间.[结论]义原知识和双向注意力流这两种语义增强策略可以增强问题生成模型的效果,并且使模型生成更符合人类语言习惯的更高质量的问题.
文献关键词:
问题生成;义原知识;余弦相似度;双向注意力流
中图分类号:
作者姓名:
段建勇;徐丽闪;刘杰;李欣;张家铭;王昊
作者机构:
北方工业大学信息学院 北京100144;CNONIX国家标准应用与推广实验室 北京100144
文献出处:
引用格式:
[1]段建勇;徐丽闪;刘杰;李欣;张家铭;王昊-.基于义原知识和双向注意力流的问题生成模型)[J].数据分析与知识发现,2022(05):44-53
A类:
双向注意力流,SQuAD1
B类:
义原知识,问题生成模型,现有模型,成问题,上下文,语义增强,增强策略,嵌入层,外部知识,词向量,小粒,语义知识,语义特征,余弦相似度,相似度算法,文本语义,知识库,筛除,致语,嘈杂,词表,无义,单词,合语,在编,编码层,语义表征,Bleu,Blue,改进模型,模型性能,基线模型,流时,段落,训练模型,成倍,模型生成,语言习惯,更高质量
AB值:
0.291454
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。