典型文献
基于Spark的近地表速度模型快速层析反演
文献摘要：
近地表速度模型层析反演多采用基于初至旅行时射线追踪的迭代反演方法.通常采用基于共享存储的MPI并行方式提高计算效率,但当计算节点增至一定规模时会存在网络I/O压力过大的计算瓶颈.为此,提出了一种快速、稳健的基于Spark技术的近地表速度模型层析反演方法,采用分布式内存管理技术将迭代中重复计算的数据持久化至内存中,提高程序运行效率.同时,为了解决共享存储中随着节点规模扩大而产生网络I/O堵塞的瓶颈问题,在分布式存储环境下组织弹性分布式数据集(RDD),设计基本规约单位为深度方向的一维反演数据,基于Spark Shuffle在规约过程中分布并行规约,利用Spark调度器在各个进程中分配任务,实现并行计算.实际数据计算结果表明:在反演结果精度不变的情况下,相对于常规MPI并行技术,该实现方法能够大幅度降低迭代过程中产生的网络I/O;当计算节点较多时,计算效率能够提高4倍以上;并行加速比呈现类线性增长趋势.
文献关键词：
近地表层析反演;迭代计算;Spark并行;弹性分布式数据集;规约基本单元
中图分类号：
作者姓名：
陈金焕
作者机构：
中国石油化工股份有限公司石油物探技术研究院,江苏南京211103
文献出处：
引用格式：
[1]陈金焕-.基于Spark的近地表速度模型快速层析反演)[J].石油物探,2022(01):146-155
A类：
近地表层析反演,规约基本单元
B类：
Spark,速度模型,旅行时,射线追踪,迭代反演,反演方法,共享存储,MPI,高计算效率,计算节点,增至,内存管理,管理技术,数据持久化,程序运行,瓶颈问题,分布式存储,弹性分布式数据集,RDD,一维反演,Shuffle,调度器,分配任务,并行计算,实际数据,数据计算,并行技术,实现方法,大幅度降低,并行加速,加速比,线性增长,迭代计算
AB值：
0.35268
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
