典型文献
面向Flink流处理框架的主动备份容错优化
文献摘要：
针对Flink任务出现故障后因为全局卷回使流处理作业恢复效率低的问题,提出基于缓存队列的容错策略.在作业中找出恢复时间最长的算子作为关键算子,将其处理过的数据存储到缓存队列中,并为其进行主动备份,备份算子同时接受来自上游的数据以达到在故障后作业可以瞬时恢复的效果.为了解决主动备份带来的额外消耗,提出数据过滤算法,备份算子在每次处理数据前会到缓存组件中检索当前数据,以判断是否继续处理.当Flink算子自身出现故障后,利用策略中的缓存队列与Flink的JobManager将故障发生时的数据信息发送给备份算子,在备份算子接收到数据后,实现即时恢复的效果.利用4项评价指标对策略进行评估,结果表明,与Flink1.8的故障恢复模式相比,所提策略在Flink任务故障恢复速度上有显著提升,当故障次数分别为1、2、3、4时,恢复效率分别提高56.3％、51.3％、46.2％和45.8％;而在处理时延、CPU利用率以及内存使用率方面仅产生极小的代价.
文献关键词：
Apache Flink;流处理容错;主动备份;故障恢复;缓存队列
中图分类号：
作者姓名：
刘广轩;黄山;胡佳丽;段晓东
作者机构：
大连民族大学 计算机科学与工程学院,辽宁 大连 116600;大数据应用技术国家民委重点实验室,辽宁 大连 116600;大连市民族文化数字技术重点实验室,辽宁 大连 116600
文献出处：
引用格式：
[1]刘广轩;黄山;胡佳丽;段晓东-.面向Flink流处理框架的主动备份容错优化)[J].浙江大学学报（工学版）,2022(02):297-305
A类：
主动备份,JobManager,Flink1,流处理容错
B类：
处理框架,容错优化,恢复效率,缓存队列,容错策略,恢复时间,数据存储,数据过滤,过滤算法,利用策略,发送给,即时恢复,故障恢复,恢复模式,恢复速度,故障次数,时延,CPU,极小,Apache
AB值：
0.237228
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
