典型文献
基于Spark的实时数据采集与处理
文献摘要：
社交平台与网络的飞速发展导致了数据量越来越大,使得实时数据量也成几何增长.实时数据分析越来越重要,已有的实时数据分析系统存在运算能力不足等问题.基于此,提出一种基于Spark的实时数据采集与处理方法.工作在分布式环境下的Spark具有处理大数据量能力,弥补了运算能力不足的问题.结合Flume,Kafka可以聚合多种数据源的特点,即使是不同的数据源Spark也能实时得到监控的数据流,调用Spark streaming模块对数据流实时处理并且可以将处理后的数据转存到其他处理组件或者数据库.实验结果表明,本方法可以对日志文件实时监控与分析并转存,有效的解决了实时数据的处理问题.
文献关键词：
分布式处理;实时数据流;日志文件;实时监控
中图分类号：
作者姓名：
黄涛;高丽婷
作者机构：
河北建筑工程学院,河北张家口 075000
文献出处：
引用格式：
[1]黄涛;高丽婷-.基于Spark的实时数据采集与处理)[J].河北建筑工程学院学报,2022(04):176-179,188
A类：
B类：
Spark,采集与处理,社交平台,数据分析系统,运算能力,分布式环境,大数据量,Flume,Kafka,数据源,调用,streaming,实时处理,转存,存到,日志文件,实时监控,分布式处理,实时数据流
AB值：
0.352518
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
