典型文献
一种Spark平台下的作业性能评估方法
文献摘要：
为了解决Spark作业运行过程中性能评估和性能优化问题,文章提出一种基于层次分析的Spark作业性能评估和分析方法.首先,针对由于特征选取影响传统作业类型划分准确性的问题,文章选取更加真实的CPU、I/O特征,并结合K-Means聚类算法构建作业分类器,提升划分准确率;其次,文章通过消除作业运行过程中数据排序、磁盘溢写、文件合并等操作来优化作业工作流,并将优化后的作业性能指标作为评估基准,使得作业运行性能评估更具客观性和通用性;然后,对各性能指标进行量化、分层,利用层次分析法计算各层级间专家经验的指标权重,结合作业分类器和评估基准构建性能评估模型;最后,在作业类型划分、工作流优化方法和性能评估3方面进行实验验证.实验结果证明了文章提出的作业类型划分和工作流优化方法的有效性以及评估模型的准确性.
文献关键词：
Spark;评估基准;量化;层次分析法
中图分类号：
作者姓名：
张征辉;陈兴蜀;罗永刚;吴天雄
作者机构：
四川大学网络空间安全学院,成都 610065;四川大学网络空间安全研究院,成都 610065;四川大学计算机学院,成都 610065
文献出处：
引用格式：
[1]张征辉;陈兴蜀;罗永刚;吴天雄-.一种Spark平台下的作业性能评估方法)[J].信息网络安全,2022(09):86-95
A类：
B类：
Spark,台下,作业性能,性能评估,性能优化,优化问题,评估和分析,特征选取,作业类型,类型划分,CPU,Means,聚类算法,分类器,数据排序,磁盘,文件合并,优化作业,评估基准,运行性能,通用性,专家经验,基准构建
AB值：
0.331921
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
