典型文献
面向Flink迭代作业的动态资源分配策略
文献摘要：
新兴分布式计算框架Apache Flink支持在集群上执行大规模的迭代程序,但其默认的静态资源分配机制导致无法进行合理的资源配置来使迭代作业按时完成.针对这一问题,应该依靠用户来主动表达性能约束而不是被动地进行资源保留,故提出了一种基于运行时间预测的动态资源分配策略RABORP (resource allocation based on runtime prediction),来为具有明确运行时限的Flink迭代作业制定动态资源分配计划并实施.其主要思想是:通过预测各个迭代超步的运行时间,然后根据预测结果在迭代作业提交时和超步间的同步屏障处分别进行资源的初始分配和动态调整,以保证可使用最小资源集,使迭代作业在用户规定的运行时限内完成.通过在不同数据集下执行多种典型的Flink迭代作业进行了相关对比实验,实验结果表明,所建立的运行时间预测模型能够对各个超步的运行时间进行准确预测,而且在单作业和多作业场景下,采用所提出的动态资源分配策略相比于目前最先进算法在各项性能指标上都有所提升.
文献关键词：
迭代作业;运行时间预测;资源分配;运行时限;Apache Flink
中图分类号：
作者姓名：
岳晓飞;史岚;赵宇海;季航旭;王国仁
作者机构：
东北大学计算机科学与工程学院,辽宁沈阳110169;北京理工大学计算机学院,北京100081
文献出处：
引用格式：
[1]岳晓飞;史岚;赵宇海;季航旭;王国仁-.面向Flink迭代作业的动态资源分配策略)[J].软件学报,2022(03):985-1004
A类：
迭代作业,RABORP,运行时限
B类：
Flink,动态资源分配,资源分配策略,分布式计算,计算框架,Apache,默认,分配机制,制导,按时,主动表达,性能约束,运行时间预测,resource,allocation,runtime,prediction,据预测,提交,处分,初始分配,小资,时间预测模型,准确预测,单作,最先
AB值：
0.241776
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
