典型文献
分布式环境下大规模维表关联技术优化
文献摘要：
分布式环境下大规模维表关联技术是当前在线大数据分析的关键技术之一,其广泛应用于实时推荐、实时分析等领域.维表关联是指将流数据和离线存储的维表数据进行关联,并根据这种关联进行数据处理.首先,对已有的维表连接技术方案进行了研究,调研了相关的优化技术和主流分布式引擎的设计路线,主要通过优化维表数据查询提高性能,但传统的优化方式受到维表规模和数据流速的限制.其次,针对已有优化技术在分布式环境下对集群整体考虑使用的不足,提出了适用于对离线的批数据和实时的流数据进行混合计算的计算模型,然后提出了一种单点读取维表数据,切分后进行分发和计算的维表关联数据方式,并优化了维表关联计算逻辑,使之能适应更高的维表规模,且不再局限于对数据的连接.最后,在流计算引擎Apache Flink上实现了提出的维表关联技术和传统维表关联技术,通过实验在阿里巴巴"双十一"产生的数据上对吞吐量和延迟进行了对比,证明了对面向分布式流计算的维表关联技术的优化的有效性.
文献关键词：
分布式计算;维表关联;缓存技术;Apache Flink
中图分类号：
作者姓名：
赵恒泰;赵宇海;袁野;季航旭;乔百友;王国仁
作者机构：
东北大学 计算机科学与工程学院,沈阳 110169;北京理工大学 计算机学院,北京 100081
文献出处：
引用格式：
[1]赵恒泰;赵宇海;袁野;季航旭;乔百友;王国仁-.分布式环境下大规模维表关联技术优化)[J].计算机科学与探索,2022(02):337-347
A类：
维表关联
B类：
分布式环境,技术优化,实时推荐,实时分析,流数据,离线,连接技术,优化技术,设计路线,数据查询,优化方式,数据流,混合计算,单点,读取,切分,关联数据,数据的连接,流计算,Apache,Flink,阿里巴巴,双十一,吞吐量,分布式计算,缓存技术
AB值：
0.331914
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
