FAILED
首站-论文投稿智能助手
典型文献
预训练语言模型的可解释性研究进展
文献摘要:
基于深度神经网络的大型预训练语言模型在众多自然语言处理任务上都取得了巨大的成功,如文本分类、阅读理解、机器翻译等,目前已经广泛应用于工业界.然而,这些模型的可解释性普遍较差,即难以理解为何特定的模型结构和预训练方式如此有效,亦无法解释模型做出决策的内在机制,这给人工智能模型的通用化带来不确定性和不可控性.因此,设计合理的方法来解释模型至关重要,它不仅有助于分析模型的行为,也可以指导研究者更好地改进模型.本文介绍近年来有关大型预训练语言模型可解释性的研究现状,对相关文献进行综述,并分析现有方法的不足和未来可能的发展方向.
文献关键词:
语言模型;预训练;可解释性;自然语言处理;神经网络
作者姓名:
郝雅茹;董力;许可;李先贤
作者机构:
微软亚洲研究院,北京100191;北京航空航天大学 计算机学院,北京100083;广西多源信息挖掘与安全重点实验室(广西师范大学),广西 桂林541004
引用格式:
[1]郝雅茹;董力;许可;李先贤-.预训练语言模型的可解释性研究进展)[J].广西师范大学学报(自然科学版),2022(05):59-71
A类:
B类:
预训练语言模型,可解释性研究,深度神经网络,自然语言处理,文本分类,阅读理解,机器翻译,工业界,模型结构,训练方式,无法解释,解释模型,内在机制,人工智能模型,通用化,可控性,指导研究,改进模型,模型可解释性,未来可能
AB值:
0.310526
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。