典型文献
浅析数据ETL自动化部署方法及实现
文献摘要:
数据从来源端经过抽取、转换、加载至目的端的过程称为ETL.在三网融合和5G移动业务广泛开展,运营支撑系统数据库数据量日益增大及数据个性化需求增多的背景下,海量数据自动化处理及可视化实现成为迫切的需求.本文介绍了当下主流数据ETL的过程节点与技术方案,并经过多种方案的综合对比,最终选取Python+Kettle+Streamlit模块技术方案的开发应用.该方案解决了数据ETL依赖人工及时效性不高的问题,减少了数据开发人员重复编写大量SQL及数据脚本工作量,节省了大量运营维护时间,实现数据结果集直观展示.
文献关键词:
数据ETL;SQL;数据库;Python;Kettle;Streamlit;模块
中图分类号:
作者姓名:
包甘盛;罗晓飞
作者机构:
广西广播电视信息网络股份有限公司
文献出处:
引用格式:
[1]包甘盛;罗晓飞-.浅析数据ETL自动化部署方法及实现)[J].广播电视网络,2022(04):70-72
A类:
Python+Kettle+Streamlit,Kettle,Streamlit
B类:
ETL,自动化部署,从来,三网融合,移动业务,广泛开展,运营支撑系统,系统数据库,数据量,个性化需求,需求增,海量数据,自动化处理,现成,流数据,综合对比,开发应用,数据开发,开发人员,SQL,脚本,运营维护,数据结果,观展
AB值:
0.432848
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。