首站-论文投稿智能助手
典型文献
基于NR-Transformer的集群作业运行时间预测
文献摘要:
高性能集群的作业调度通常使用作业调度系统来实现,准确填写作业运行时间能在很大程度上提升作业调度效率.现有的研究通常使用机器学习的预测方式,在预测精度和实用性上还存在一定的提升空间.为了进一步提高集群作业运行时间预测的准确率,考虑先对集群作业日志进行聚类,将作业类别信息添加到作业特征中,再使用基于注意力机制的NR-Transformer网络对作业日志数据建模和预测.在数据处理上,根据与预测目标的相关性、特征的完整性和数据的有效性,从历史日志数据集中筛选出7维特征,并按作业运行时间的长度将其划分为多个作业集,再对各作业集分别进行训练和预测.实验结果表明,相比于传统机器学习和BP神经网络,时序神经网络结构有更好的预测性能,其中NR-Transformer在各作业集上都有较好的性能.
文献关键词:
高性能计算;并行作业调度;用户聚类;时序神经网络;注意力机制
作者姓名:
陈奉贤
作者机构:
兰州大学网络安全与信息化办公室,甘肃兰州 730000
引用格式:
[1]陈奉贤-.基于NR-Transformer的集群作业运行时间预测)[J].计算机工程与科学,2022(07):1181-1190
A类:
并行作业调度
B类:
NR,Transformer,运行时间预测,高性能集群,调度系统,填写,写作业,提升空间,类别信息,作业特征,注意力机制,日志数据,数据建模,历史日,维特,时序神经网络,神经网络结构,预测性能,高性能计算,用户聚类
AB值:
0.291713
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。