典型文献
基于Flink+QLExpress处理海量数据的实时监控告警系统
文献摘要：
为了满足大数据监控告警系统具备灵活告警及实时动态更新各类配置的需求,在深入研究各大数据监控告警系统架构的基础上,提出一种基于Flink+QLExpress新架构的处理海量数据的实时监控告警系统.首先通过Canal采集数据,然后利用聚合程序聚合数据后推送至Kafka,利用Flink从Kafka数据源获取源数据,并通过Flink SQL技术实现数据清洗及过滤,得到满足阈值条件的初级告警数据,最后通过QLExpress技术实现告警数据的二级过滤、告警信息的格式化及推送.结果表明此架构通过引入Flink SQL和QLExpress能够实现告警口径、告警阈值、告警格式及推送方式的动态更新与发布,增强了告警的实时性、灵活性及便利性,提升了运维效率.
文献关键词：
海量数据;告警系统;Flink;Flink SQL;QLExpress;Canal
中图分类号：
作者姓名：
陈丽;杨大龙;高中纤;张伟
作者机构：
中国联合网络通信有限公司济南软件研究院 济南 250100
文献出处：
引用格式：
[1]陈丽;杨大龙;高中纤;张伟-.基于Flink+QLExpress处理海量数据的实时监控告警系统)[J].信息通信技术,2022(01):64-69
A类：
Flink+QLExpress,QLExpress
B类：
海量数据,实时监控,监控告警,告警系统,数据监控,实时动态,动态更新,系统架构,新架构,Canal,采集数据,送至,Kafka,数据源,SQL,数据清洗,阈值条件,告警数据,告警信息,格式化,口径,推送方式,便利性
AB值：
0.247349
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
