典型文献
分布式子空间局部链接随机向量函数链接网络
文献摘要：
为解决随机向量函数链接(random vector functional link,RVFL)网络处理大规模数据分类时表现出的泛化能力差和计算复杂度高的问题,基于Spark框架设计与实现一种分布式子空间局部链接的RVFL(distributed RVFL with subspace-based local connections,DRVFL-SLC)网络.利用弹性分布式数据集(resilient distributed dataset,RDD)的分区并行性,对存于Hadoop分布式文件系统(Hadoop distributed file system,HDFS)的大规模数据集进行随机样本划分(random sample partition,RSP)操作,保证每个RSP数据块对应RDD的1个分区.其中,RSP数据块是在给定的显著性水平下与大数据保持概率分布一致性的数据子集.在分布式环境下对包含多个分区的RDD调用mapPartitions转换算子并行高效地训练对应的最优RVFL-SLC网络.利用collect执行算子将RDD每个分区对应的最优RVFL-SLC网络进行高效率地渐近融合获得DRVFL-SLC网络以实现对大数据分类问题的近似求解.在部署了6个计算节点的Spark集群上,基于8个百万条记录的大规模数据集对DRVFL-SLC网络的可行性和有效性进行了验证.结果表明,DRVFL-SLC网络拥有很好的加速比、可扩展性以及规模增长性,同时能够获得比在单机上利用全量数据训练的RVFL-SLC网络更好的泛化表现.
文献关键词：
人工智能;随机向量函数链接网络;子空间局部链接;随机样本划分;Hadoop分布式文件系统
中图分类号：
作者姓名：
于万国;袁镇濠;陈佳琪;何玉林
作者机构：
河北民族师范学院数学与计算机科学学院,河北承德067000;深圳大学计算机与软件学院,广东深圳518060;人工智能与数字经济广东省实验室(深圳),广东深圳518107
文献出处：
引用格式：
[1]于万国;袁镇濠;陈佳琪;何玉林-.分布式子空间局部链接随机向量函数链接网络)[J].深圳大学学报（理工版）,2022(06):675-683
A类：
子空间局部链接,DRVFL,随机样本划分,mapPartitions
B类：
式子,随机向量函数链接网络,random,vector,functional,link,数据分类,泛化能力,计算复杂度,Spark,框架设计,distributed,subspace,local,connections,SLC,弹性分布式数据集,resilient,dataset,RDD,并行性,Hadoop,分布式文件系统,file,system,HDFS,大规模数据集,sample,partition,RSP,数据块,数据保持,概率分布,分布一致性,子集,分布式环境,调用,换算,collect,渐近,分类问题,计算节点,百万条,加速比,可扩展性,规模增长,长性,单机,全量数据,数据训练
AB值：
0.313629
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
