典型文献
语言模型攻击性的自动评价方法
文献摘要：
基于大规模语料训练的语言模型,在文本生成任务上取得了突出性能表现.然而研究发现,这类语言模型在受到扰动时可能会产生攻击性的文本.这种不确定的攻击性给语言模型的研究和实际使用带来了困难,为了避免风险,研究人员不得不选择不公开论文的语言模型.因此,如何自动评价语言模型的攻击性成为一项亟待解决的问题.针对该问题,该文提出了一种语言模型攻击性的自动评估方法.它分为诱导和评估两个阶段.在诱导阶段,基于即插即用可控文本生成技术,利用训练好的文本分类模型提供的梯度方向更新语言模型的激活层参数,增加生成的文本具有攻击性的可能性.在评估阶段,利用训练好的文本分类模型的判别能力,估计诱导产生的攻击性文本的占比,用以评估语言模型的攻击性.实验评估了不同设置下的预训练模型的攻击性水平,结果表明该方法能够自动且有效地评估语言模型的攻击性,并进一步分析了语言模型的攻击性与模型参数规模、训练语料以及前置单词之间的关系.
文献关键词：
文本生成;语言模型;自动评价
中图分类号：
作者姓名：
侯丹阳;庞亮;丁汉星;兰艳艳;程学旗
作者机构：
中国科学院计算技术研究所数据智能系统研究中心,北京100190;中国科学院大学,北京100049;中国科学院计算技术研究所中国科学院网络数据科学与技术重点实验室,北京100190
文献出处：
引用格式：
[1]侯丹阳;庞亮;丁汉星;兰艳艳;程学旗-.语言模型攻击性的自动评价方法)[J].中文信息学报,2022(01):12-20
A类：
B类：
语言模型,模型攻击,攻击性,自动评价,语料,文本生成,不公,评价语言,自动评估,即插即用,生成技术,练好,文本分类,分类模型,梯度方向,新语言,加生,实验评估,预训练模型,单词
AB值：
0.25619
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
