典型文献
基于注意力掩码语言模型的隐式篇章关系识别
文献摘要：
隐式篇章关系识别是在缺少显式连接词的条件下,自动判定论元之间的语义关系.其挑战性在于现有训练数据的规模较小,其蕴含的语义多样性也相对有限.针对上述问题,该文利用掩码语言模型架构建立篇章关系分类模型.其动因包括:①掩码语言模型在自监督学习过程中具备局部的语言生成能力,即在理解上下文语义的基础上"重构掩码区域语义表示"的能力;②掩码重构形成了数据增强(潜在的自动数据扩展)的效果,有助于提高篇章关系分类模型的鲁棒性.特别地,该文提出一种基于交互注意力的掩码语言模型,该方法计算论元之间的交互注意力矩阵,并依赖交互注意力动态选择论元之间高关联性的关键词项进行遮蔽、掩码重构,从而形成更有针对性的数据增强(非关键信息的数据增强对关系分类影响不大).该文利用宾州篇章树库语料进行实验.实验结果表明,相较于基准系统,我们提出的方法的F1 值在四大类关系(对比关系、偶然性关系、扩展关系和时序关系)上分
文献关键词：
隐式篇章关系;交互式注意力;掩码语言模型
中图分类号：
作者姓名：
窦祖俊;洪宇;李晓;周国栋
作者机构：
苏州大学 计算机科学与技术学院,江苏 苏州 215006
文献出处：
引用格式：
[1]窦祖俊;洪宇;李晓;周国栋-.基于注意力掩码语言模型的隐式篇章关系识别)[J].中文信息学报,2022(10):17-26
A类：
隐式篇章关系,隐式篇章关系识别,交互式注意力
B类：
掩码语言模型,显式,连接词,自动判定,定论,论元,语义关系,训练数据,规模较,模型架构,关系分类,分类模型,自监督学习,学习过程,生成能力,上下文语义,数据增强,交互注意力,力矩,力动态,动态选择,词项,遮蔽,非关键,关键信息,宾州,树库,语料,准系统,偶然性,时序关系
AB值：
0.267006
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
