典型文献
基于ALBERT预训练模型生成式文本摘要
文献摘要：
针对如何生成更高质量的文本摘要提出一种基于预训练的编码器-解码器框架.该框架可以根据输入序列分两阶段生成输出序列.对于模型的编码器,使用ALBERT将输入序列编码为上下文表示.解码器在第一阶段使用一个基于Transformer的解码器来生成一个草稿输出序列;第二阶段对草稿序列中每个词进行掩码,并将其输入到ALBERT中,然后通过结合输入序列和ALBERT生成的草稿表示,使用基于Transformer的解码器来预测每一个掩码位置的词.在ROUGE上评估了此模型.模型生成的摘要解决了生成摘要不 自然的问题,并在LCSTS上取得了很好的效果.
文献关键词：
预训练;生成式;文本生成
中图分类号：
作者姓名：
许文军;郑虹;郑肇谦
作者机构：
长春工业大学计算机科学与工程学院,吉林长春 130102
文献出处：
引用格式：
[1]许文军;郑虹;郑肇谦-.基于ALBERT预训练模型生成式文本摘要)[J].长春工业大学学报,2022(06):719-725
A类：
B类：
ALBERT,预训练模型,模型生成,生成式,文本摘要,更高质量,编码器,解码器,两阶段,列编,上下文,第一阶段,Transformer,来生,草稿,第二阶段,掩码,码位,ROUGE,LCSTS,文本生成
AB值：
0.361345
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
