典型文献
面向流式数据处理系统的高效故障恢复方法
文献摘要：
针对流式数据处理系统Flink无法高效处理单点故障的问题,提出了一种基于增量状态和备份的故障容错系统Flink+.首先,提前建立备份算子和数据通路;然后,对数据流图中的输出数据进行缓存,必要时使用磁盘;其次,在系统快照时进行任务状态同步;最后,在系统故障时使用备份任务和缓存的数据恢复计算.在系统实验测试中,Flink+在无故障运行时没有显著增加额外容错开销;而在单机和分布式环境下处理单点故障时,与Flink系统相比,所提系统在单机8任务并行度下故障恢复时间减少了96.98％,在分布式16任务并行度下故障恢复时间减少了88.75％.实验结果表明,增量状态和备份方法一起使用可以有效减少流式系统单点故障的恢复时间,增强系统的鲁棒性.
文献关键词：
流式数据处理系统;故障恢复;分布式检查点;状态备份;Apache Flink
中图分类号：
作者姓名：
刘阳;张扬扬;周号益
作者机构：
北京航空航天大学 大数据科学与脑机智能高精尖创新中心,北京 100191;北京航空航天大学 计算机学院,北京 100191;北京航空航天大学 未来空天技术学院/高等理工学院,北京100191;北京航空航天大学 软件学院,北京 100191
文献出处：
引用格式：
[1]刘阳;张扬扬;周号益-.面向流式数据处理系统的高效故障恢复方法)[J].计算机应用,2022(11):3337-3345
A类：
流式数据处理系统,Flink+,分布式检查点,状态备份
B类：
故障恢复,恢复方法,高效处理,单点故障,故障容错,数据通路,数据流图,缓存,磁盘,快照,状态同步,系统故障,和缓,数据恢复,实验测试,无故障,增加额,错开,开销,单机,分布式环境,下处,任务并行,并行度,恢复时间,增强系统,Apache
AB值：
0.27952
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
