典型文献
基于Hadoop的气象数据分布式存储技术研究
文献摘要：
针对目前气象数据存储所面临的海量扩张、高并发读写、结构化和非结构化数据并存以及长时间序列和大数据集检索效率低下等问题,提出了以Hadoop开源框架为基础的气象数据分布式存储方案.通过对气象数据自身属性和特点进行分析,得出了气象数据在经过充分优化的基础上,在分布式存储框架中具有很强的适应性和规模化应用的潜力;并在HBase数据库中的Row Key设计和小文件合并策略方面做了创新.最后针对气象数据中广泛存在的结构化和非结构化这两种主要数据类型,以自动气象站数据和雷达产品数据为具体实例,给出了详细的设计思路和实现方法.
文献关键词：
气象数据存储;Hadoop;Row Key;文件合并
中图分类号：
作者姓名：
周笑天;冯勇;陈益玲;陈澍
作者机构：
山东省气象信息中心,济南250031
文献出处：
引用格式：
[1]周笑天;冯勇;陈益玲;陈澍-.基于Hadoop的气象数据分布式存储技术研究)[J].信息技术,2022(01):68-74
A类：
气象数据存储
B类：
Hadoop,数据分布式存储,存储技术,高并发,读写,非结构化数据,长时间序列,数据集检索,开源框架,存储方案,过充,规模化应用,HBase,Row,Key,小文,文件合并,要数,数据类型,自动气象站,雷达产品,产品数据,实现方法
AB值：
0.332707
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
