首站-论文投稿智能助手
典型文献
改进的Hadoop公平调度算法
文献摘要:
Hadoop是用于存储和处理大规模数据的基础架构和软件.MapReduce是Hadoop的一个JAVA程序设计框架模型,遵循MapReduce框架开发的应用程序可以在集群中的节点上并行执行.作业调度器是Hadoop系统中的重要组件.文章中,作者阐述了Hadoop中常见的三种调度器,并重点讨论了公平调度算法.通过分析公平调度算法在调度小型作业时容易影响整个集群吞吐量的原因,提出了一种改进的公平调度算法,并通过实验证明改进后的公平调度算法对整个集群的平均吞吐率有明显的提高.
文献关键词:
公平调度;MapReduce;Hadoop;数据本地性
作者姓名:
吴岳
作者机构:
国家林业和草原局产业发展规划院, 北京 100010
文献出处:
引用格式:
[1]吴岳-.改进的Hadoop公平调度算法)[J].电脑与信息技术,2022(06):39-41
A类:
数据本地性
B类:
Hadoop,公平调度,调度算法,大规模数据,基础架构,MapReduce,JAVA,程序设计,设计框架,框架模型,应用程序,并行执行,作业调度,调度器,吞吐量,吞吐率
AB值:
0.277615
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。