典型文献
基于预训练模型与知识蒸馏的法律判决预测算法
文献摘要：
针对法律判决预测中罪名预测和法条推荐子任务,提出基于BERT(bidirectional encoder representation from transformers)预训练模型与知识蒸馏策略的多任务多标签文本分类模型.为挖掘子任务间的关联,提高预测准确率,运用BERT预训练模型进行多任务学习,建立BERT12multi文本分类模型;针对罪名、法条类别中的样本不均衡问题,采用分组的焦点损失(focal loss)以增强模型对于罕见罪名及法条的辨别能力;为降低模型计算复杂度并且提高模型推理速度,提出一种以教师模型评价为参考的知识蒸馏策略,通过动态平衡蒸馏中的蒸馏损失和分类损失,将BERT12multi压缩为浅层结构的学生模型.综上,构建出可以处理不均衡样本且具有较高推理速度的多任务多标签文本分类模型BERT6multi.在CAIL2018数据集上的实验表明:采用预训练模型及分组focal loss可显著提高法律判决预测的性能;通过融入教师模型评价,知识蒸馏得到的学生模型推理速度提高近一倍,并且在罪名预测及法条推荐任务中获得86.7％与83.0％的F1-Score(Micro-F1与Macro-F1的均值).
文献关键词：
法律判决预测;预训练模型;焦点损失;多任务学习;模型压缩;知识蒸馏
中图分类号：
作者姓名：
潘瑞东;孔维健;齐洁
作者机构：
东华大学信息科学与技术学院,上海201600;东华大学数字化纺织服装技术教育部工程研究中心,上海201620
文献出处：
引用格式：
[1]潘瑞东;孔维健;齐洁-.基于预训练模型与知识蒸馏的法律判决预测算法)[J].控制与决策,2022(01):67-76
A类：
法律判决预测,BERT12multi,BERT6multi,CAIL2018
B类：
预训练模型,知识蒸馏,预测算法,罪名预测,法条,子任务,bidirectional,encoder,representation,from,transformers,多标签文本分类,分类模型,预测准确率,多任务学习,样本不均衡,均衡问题,焦点损失,focal,loss,增强模型,辨别,计算复杂度,模型推理,推理速度,模型评价,动态平衡,学生模型,不均衡样本,高法,入教,一倍,推荐任务,Score,Micro,Macro,模型压缩
AB值：
0.262038
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
