首站-论文投稿智能助手
典型文献
面向Flink的负载均衡任务调度算法的研究与实现
文献摘要:
Apache Flink是现在主流的大数据分布式计算引擎之一,其中任务调度问题是分布式计算系统中的关键问题.由于集群的异构性以及不同算子复杂度不同,大数据计算系统Flink中不可避免地会出现负载不均的情况,针对这种问题,提出了基于资源反馈的负载均衡任务调度算法RFTS.通过实时资源监控、区域划分和基于人工萤火虫优化的任务调度算法3个模块,把负载过重的机器中处于等待状态的任务分配给负载较轻的机器,来实现集群的负载均衡,提高系统集群利用率和执行效率.最后通过基于TPC-C和TPC-H数据集的实验结果表明,RFTS算法从执行时间和吞吐量2个方面有效提升了Apache Flink计算系统的性能.
文献关键词:
Apache Flink;基于资源反馈的负载均衡任务调度算法;实时资源监控;区域划分;人工萤火虫优化算法
作者姓名:
李文佳;史岚;季航旭;罗意彭
作者机构:
东北大学计算机科学与工程学院,辽宁沈阳 110169;辽宁工业大学软件学院,辽宁锦州 121000
引用格式:
[1]李文佳;史岚;季航旭;罗意彭-.面向Flink的负载均衡任务调度算法的研究与实现)[J].计算机工程与科学,2022(07):1141-1151
A类:
基于资源反馈的负载均衡任务调度算法,RFTS,实时资源监控,人工萤火虫优化算法
B类:
Flink,研究与实现,Apache,数据分布,分布式计算,调度问题,计算系统,异构性,大数据计算,区域划分,任务分配,配给,较轻,执行效率,TPC,执行时间,吞吐量
AB值:
0.188958
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。