典型文献
基于交叉层级数据共享的多任务模型
文献摘要:
针对多任务学习模型中相关度低的任务之间存在的负迁移现象和信息共享困难问题,提出了一种基于交叉层级数据共享的多任务模型.该模型关注细粒度的知识共享,且能保留浅层共享专家的记忆能力和深层特定任务专家的泛化能力.首先,统一多层级共享专家,以获取复杂相关任务间的公共知识;然后,将共享信息分别迁移到不同层级的特定任务专家之中,从而在上下层之间共享部分公共知识;最后,利用基于数据样本的门控网络自主选择不同任务所需信息,从而减轻样本依赖性对模型的不利影响.相较于多门控混合专家(MMOE)模型,所提模型在UCI census-income数据集上对两个任务的F1值分别提高了7.87个百分点和1.19个百分点;且在MovieLens数据集上的回归任务的均方误差(MSE)值降低到0.0047,分类任务的AUC值提高到0.642.实验结果表明,所提出的模型适用于改善负迁移现象的影响,且能更高效地学习复杂相关任务之间的公共信息.
文献关键词:
多任务学习;信息共享;负迁移;神经网络;迁移学习
中图分类号:
作者姓名:
陈颖;于炯;陈嘉颖;杜旭升
作者机构:
新疆大学软件学院,乌鲁木齐830091;新疆大学信息科学与工程学院,乌鲁木齐830046
文献出处:
引用格式:
[1]陈颖;于炯;陈嘉颖;杜旭升-.基于交叉层级数据共享的多任务模型)[J].计算机应用,2022(05):1447-1454
A类:
混合专家,MMOE
B类:
多任务模型,多任务学习,相关度,负迁移现象,困难问题,细粒度,知识共享,记忆能力,泛化能力,一多,多层级,公共知识,共享信息,门控网络,自主选择,UCI,census,income,百分点,MovieLens,均方误差,MSE,分类任务,地学,公共信息,迁移学习
AB值:
0.348926
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。