典型文献
面向车载数据洪峰场景的分布式流数据处理性能优化方法
文献摘要：
在轨道交通领域中,车辆智能运维系统运用了各种大数据技术对车辆状态数据进行实时计算分析,从而实现状态监控和故障预警,指导关键设备现场维修作业,有效地提高了车辆运维人员的工作效率.然而,由于车地网络通信环境的不稳定,会导致某些单车下发的车载数据出现数据洪峰,而使用通用配置的大数据流数据处理框架处理此类场景时会出现性能瓶颈.文章针对产生该性能瓶颈的原因进行了深入分析,提出了基于自定义Kafka分区规则和使Spark Streaming处理框架参数最优化的方法,其将不同车辆的数据写入不同的Kafka分区中,并且控制Spark计算节点从Kafka读取数据的速率.实际项目应用结果表明,该方法能有效解决数据洪峰场景下的流数据处理速率跟不上数据读取速率而导致的性能瓶颈问题.
文献关键词：
大数据;流式数据处理;性能优化;数据洪峰;智能运维;轨道交通
中图分类号：
作者姓名：
汤鹏飞;胡卫民;杨永滔
作者机构：
株洲中车时代电气股份有限公司,湖南 株洲 412001
文献出处：
引用格式：
[1]汤鹏飞;胡卫民;杨永滔-.面向车载数据洪峰场景的分布式流数据处理性能优化方法)[J].控制与信息技术,2022(06):91-98
A类：
数据洪峰,车地网络
B类：
车载数据,流数据,处理性能,性能优化方法,在轨,交通领域,车辆智能,智能运维系统,系统运用,状态数据,实时计算,状态监控,故障预警,关键设备,维修作业,网络通信,通信环境,单车,大数据流,处理框架,自定义,Kafka,Spark,Streaming,同车,写入,计算节点,读取数据,项目应用,跟不上,上数,数据读取,瓶颈问题,流式数据处理
AB值：
0.383322
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
