典型文献
新型分布式计算系统中的异构任务调度框架
文献摘要：
随着大数据和机器学习的火热发展,面向机器学习的分布式大数据计算引擎随之兴起.这些系统既可以支持批量的分布式学习,也可以支持流式的增量学习和验证,具有低延迟、高性能的特点.然而,当前的一些主流系统采用了随机的任务调度策略,忽略了节点的性能差异,因此容易导致负载不均和性能下降.同时,对于某些任务,如果资源要求不满足,则会导致调度失败.针对这些问题,提出了一种异构任务调度框架,能够保证任务的高效执行和被执行.具体来讲,该框架针对任务调度模块,围绕节点的异构计算资源,提出了概率随机的调度策略resource-Pick_kx和确定的平滑加权轮询算法.Resource-Pick_kx算法根据节点性能计算概率,进行概率随机调度,性能高的节点概率越大,任务调度到此节点的可能性就越高.平滑加权轮询算法在初始时根据节点性能设置权重,调度过程中平滑加权,使任务调度到当下性能最高的节点上.此外,对于资源不满足要求的任务场景,提出了基于容器的纵向扩容机制,自定义任务资源,创建节点加入集群,重新完成任务的调度.通过实验在benchmark和公开数据集上测试了框架的性能,相比于原有策略,该框架性能提升了10％-20％.
文献关键词：
任务调度;负载均衡;自动扩容;分布式计算;异构任务
中图分类号：
作者姓名：
刘瑞奇;李博扬;高玉金;李长升;赵恒泰;金福生;李荣华;王国仁
作者机构：
北京理工大学计算机学院,北京100081;东北大学计算机科学与工程学院 辽宁沈阳110819
文献出处：
引用格式：
[1]刘瑞奇;李博扬;高玉金;李长升;赵恒泰;金福生;李荣华;王国仁-.新型分布式计算系统中的异构任务调度框架)[J].软件学报,2022(03):1005-1017
A类：
异构任务,异构计算资源,自动扩容
B类：
分布式计算,计算系统,任务调度,调度框架,火热,大数据计算,分布式学习,增量学习,低延迟,调度策略,性能差异,性能下降,具体来讲,resource,Pick,kx,轮询,Resource,性能计算,随机调度,此节,就越,中平,当下性,满足要求,任务场景,自定义,完成任务,benchmark,公开数据集,性能提升,负载均衡
AB值：
0.347251
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
