典型文献
面向Dataflow的异构集群混合式资源调度框架研究
文献摘要：
Dataflow模型的使用,使得大数据计算的批处理和流处理融合为一体.但是,现有的针对大数据计算的集群资源调度框架,要么面向流处理,要么面向批处理,不适合批处理与流处理作业共享集群资源的需求.另外,GPU用于大数据分析计算时,由于缺乏有效的CPU-GPU资源解耦方式,降低了资源使用效率.在分析现有的集群资源调度框架的基础上,设计并实现了一种可以感知批处理/流处理应用的混合式资源调度框架HRM.它以共享状态架构为基础,采用乐观封锁协议和悲观封锁协议相结合的方式,确保流处理作业和批处理作业的不同资源要求.在计算节点上,提供CPU-GPU资源的灵活绑定,采用队列堆叠技术,不但满足流处理作业的实时性需求,也减少了反馈延迟并实现了GPU资源的共享.通过模拟大规模作业的调度,结果显示,HRM的调度延迟只有集中式调度框架的75％左右;使用实际负载测试,批处理与流处理共享集群时,使用HRM调度框架,CPU资源利用率提高25％以上;而使用细粒度作业调度方法,不但GPU利用率提高2倍以上,作业的完成时间也能够减少50％左右.
文献关键词：
数据流模型;批处理;流处理;作业感知;CPU-GPU;队列堆叠
中图分类号：
作者姓名：
汤小春;赵全;符莹;朱紫钰;丁朝;胡小雪;李战怀
作者机构：
西北工业大学 计算机学院,陕西 西安 710129
文献出处：
引用格式：
[1]汤小春;赵全;符莹;朱紫钰;丁朝;胡小雪;李战怀-.面向Dataflow的异构集群混合式资源调度框架研究)[J].软件学报,2022(12):4704-4726
A类：
Dataflow,队列堆叠,数据流模型,作业感知
B类：
异构集群,资源调度,调度框架,框架研究,大数据计算,批处理,流处理,合为一体,要么,GPU,CPU,解耦,使用效率,处理应用,HRM,用乐,封锁,悲观,计算节点,绑定,堆叠技术,性需求,集中式,式调度,负载测试,资源利用率,细粒度,作业调度,调度方法,完成时间
AB值：
0.276575
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
