典型文献
减少Hadoop集群中网络队头阻塞的调度算法
文献摘要：
大数据分析系统的用户希望任务的执行时间尽可能短.然而,在任务执行期间,网络与计算时刻都可能成为阻碍任务执行的资源瓶颈.通过对大数据分析系统的观察与分析,得出如下结论:1)根据当前资源瓶颈的不同,数据并行框架应当在多种工作模式之间切换;2)子任务的调度应当充分考虑将来可能到达的新任务,而不能仅考虑当前已经提交的任务.基于上述观察,设计并实现了全新的任务调度系统Duopoly,其由感知计算资源的网络调度器cans与感知网络资源的子任务调度器nats两部分组成.通过小规模物理集群与大规模仿真实验对Duopoly的效果进行评估,实验结果表明,与现有工作相比,Duopoly可以将平均任务完成时间缩短37.30％～76.16％.
文献关键词：
Hadoop集群;队头阻塞;网络调度;任务调度
中图分类号：
作者姓名：
田冰川;田臣;周宇航;陈贵海;窦万春
作者机构：
南京大学计算机科学与技术系 南京210023
文献出处：
引用格式：
[1]田冰川;田臣;周宇航;陈贵海;窦万春-.减少Hadoop集群中网络队头阻塞的调度算法)[J].计算机科学,2022(03):11-22
A类：
队头阻塞,Duopoly,cans,nats
B类：
Hadoop,中网,调度算法,大数据分析系统,执行时间,执行期,资源瓶颈,观察与分析,数据并行,并行框架,当在,子任务,能到,新任务,提交,任务调度系统,计算资源,网络调度,调度器,感知网络,网络资源,小规模,任务完成时间
AB值：
0.319388
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
