典型文献
基于ALBERT-UniLM模型的文本自动摘要技术研究
文献摘要：
针对文本摘要任务中的生成式摘要模型对原文理解不充分且容易生成重复文本等问题,提出将词向量模型ALBERT与统一预训练模型UniLM相结合的算法,构造出一种ALBERT-UniLM摘要生成模型.该模型采用预训练动态词向量ALBERT替代传统的BERT基准模型进行特征提取获得词向量.利用融合指针网络的UniLM语言模型对下游生成任务微调,结合覆盖机制来降低重复词的生成并获取摘要文本.实验以ROUGE评测值作为评价指标,在2018年CCF国际自然语言处理与中文计算会议(NLPC-C2018)单文档中文新闻摘要评价数据集上进行验证.与BERT基准模型相比,ALBERT-UniLM模型的Rouge-1、Rouge-2和Rouge-L指标分别提升了1.57％、1.37％和1.60％.实验结果表明,提出的ALBERT-UniLM模型在文本摘要任务上效果明显优于其他基准模型,能够有效提高文本摘要的生成质量.
文献关键词：
自然语言处理;预训练语言模型;ALBERT模型;UniLM模型;生成式摘要
中图分类号：
作者姓名：
孙宝山;谭浩
作者机构：
天津工业大学 计算机科学与技术学院,天津 300387;天津市自主智能技术与系统重点实验室,天津 300387
文献出处：
引用格式：
[1]孙宝山;谭浩-.基于ALBERT-UniLM模型的文本自动摘要技术研究)[J].计算机工程与应用,2022(15):184-190
A类：
NLPC,C2018
B类：
ALBERT,UniLM,文本自动摘要,文本摘要,生成式摘要,原文,文理,易生成,词向量,预训练模型,摘要生成,生成模型,指针网络,微调,覆盖机制,来降,复词,ROUGE,评测,CCF,自然语言处理,文档,中文新闻,评价数据,Rouge,预训练语言模型
AB值：
0.313166
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
