典型文献
近数据计算下键值存储中Compaction并行优化方法
文献摘要：
大规模非结构化数据的爆炸式增长给传统关系型数据库带来了极大的挑战.基于日志结构合并树(log-structured merge tree,LSM-tree)的键值存储系统已被广泛应用,并起到重要的作用,原因在于基于LSM-tree的键值存储能够将随机写转化为顺序写,从而提升性能.然而,LSM-tree键值存储也存在一些性能问题.一方面,键值存储利用compaction操作更新数据,保持系统平衡,但造成严重的写放大问题.另一方面,以传统计算为中心的架构下,compaction操作带来大量的数据传输,影响了系统性能.以数据为中心的近数据计算模型(near-data processing,NDP)为基础,利用该模型下主机端与近数据计算使能设备端的并行资源,提出基于系统并行与流水线并行的compaction优化方法(collaborative parallel compaction optimization for LSM-tree key-value stores,CoPro).当处理 compaction 操作时,CoPro主机端与NDP设备端协同执行compaction卸载任务.此外,进一步提出基于决策组件的CoPro+,根据系统资源变化以及负载键值对中值大小的变化来动态调整并行度,使NDP架构中计算资源的使用更加高效.在搭建的硬件平台上验证了CoPro的有效性.
文献关键词：
日志归并树;键值存储;近数据计算;任务卸载;数据-流水线并行
中图分类号：
作者姓名：
孙辉;娄本冬;黄建忠;赵雨虹;符松
作者机构：
安徽大学计算机科学与技术学院 合肥 230601;华中科技大学武汉光电国家研究中心 武汉 430074;中国科学院信息工程研究所 北京 100093;北德克萨斯大学计算机科学与工程系 美国德克萨斯州登顿 76203
文献出处：
引用格式：
[1]孙辉;娄本冬;黄建忠;赵雨虹;符松-.近数据计算下键值存储中Compaction并行优化方法)[J].计算机研究与发展,2022(03):597-616
A类：
近数据计算,Compaction,CoPro,CoPro+,日志归并树
B类：
算下,下键,键值存储,并行优化,非结构化数据,爆炸式,长给,关系型数据库,日志结构合并树,log,structured,merge,tree,LSM,存储系统,提升性能,compaction,新数据,保持系,数据传输,系统性能,near,data,processing,NDP,主机,使能,流水线,collaborative,parallel,optimization,key,value,stores,系统资源,键值对,中值,并行度,中计,计算资源,硬件平台,任务卸载
AB值：
0.327027
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
