典型文献
基于Flink的实时数仓架构设计与应用
文献摘要:
在大数据时代背景下,实时计算相对于传统的批处理能够更有效地体现数据的价值。在此背景下重做数仓建模理论和指标体系拆分,使数据仓库建模上更加合理。技术上结合Flink、HBase、Kafka、redis、clinkhouse等主流的实时数仓框架,采用flink cdc读取配置信息达到动态修改代码的逻辑,并且采用旁路缓存加异步IO的方式对关联维表的操作进行了深度的优化,在提高效率的同时防止反压的产生。flink datastream api和flink sql双线处理逻辑,可以应对不同的开发要求和调优。
文献关键词:
流式计算;Flink;实时数仓
中图分类号:
作者姓名:
罗白莲
作者机构:
中国人民大学
文献出处:
引用格式:
[1]罗白莲-.基于Flink的实时数仓架构设计与应用)[J].计算机产品与流通,2022(07):57-59
A类:
clinkhouse,flink,datastream
B类:
Flink,实时数仓,架构设计,大数据时代背景,实时计算,批处理,拆分,数据仓库,HBase,Kafka,redis,cdc,读取,配置信息,动态修改,代码,旁路,缓存,异步,IO,对关联,关联维,提高效率,反压,api,sql,双线,处理逻辑,调优,流式计算
AB值:
0.533851
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。