典型文献
基于超级参数调整的网络表示学习算法性能公平比较框架
文献摘要:
网络结构数据在现今生活中广泛存在,但由于数据结构稀疏、规模较大等特性,难以直接利用现有的机器学习算法对数据进行分析.网络表示学习算法的出现,通过将高维数据映射到低维向量空间,解决了上述问题.但是网络表示学习算法中存在大量超级参数,参数的选择与数据分析任务密切相关且对算法性能有明显影响,如何针对数据分析任务,通用地对多种网络表示学习算法进行超级参数调整,以获取不同算法的最优性能,实现算法间性能的公平比较,从而选择出最优者对数据进行分析,是一个亟待解决的问题.此外,对算法进行超级参数调整通常需要花费较长时间,且由于网络结构数据规模通常较大,还会有内存占用过高问题的存在,因此如何能够在有资源限制(时间、内存占用)的条件下进行超级参数调整,是面临的另一个问题.基于上述两个问题,本文提出了基于超级参数调整的网络表示学习算法性能公平比较框架JITNREv,能够在有资源限制的条件下通用对多种网络表示学习算法进行超级参数调整,通过获取不同算法针对相同数据分析任务的性能最优值,实现算法之间的性能公平比较.该框架具有4个松耦合且可扩展的组件,组件间仅通过数据流进行交互,并在闭环结构中完成样本的测试优化,满足了框架的通用性.JITNREv基于拉丁超立方采样对超级参数进行采样;根据"当前最优值附近,有更大概率出现更优值"的假设对采样范围进行剪枝;针对超大规模数据集,提出了图粗化方式在保留数据结构的基础上压缩数据规模,满足了资源限制条件下对超级参数进行调整的要求.框架还融合了网络表示学习算法常用的评测数据集、评测指标和数据分析应用,实现了框架的易用性.实验证明JITNREv框架能够在资源限制条件下稳定提高算法性能,例如,针对GCN算法的节点分类任务相比默认参数设置,JITNREv框架能够将性能提升31%.
文献关键词:
网络表示学习;网络嵌入;图卷积网络;自动化机器学习;超级参数调整
中图分类号:
作者姓名:
郭梦影;孙振宇;朱妤晴;包云岗
作者机构:
中国科学院计算技术研究所先进计算机系统研究中心 北京 100190;中国科学院大学 北京 100049;北京信息科学与技术国家研究中心(清华大学)北京 100084;大数据系统软件国家工程实验室 北京 100084
文献出处:
引用格式:
[1]郭梦影;孙振宇;朱妤晴;包云岗-.基于超级参数调整的网络表示学习算法性能公平比较框架)[J].计算机学报,2022(05):897-917
A类:
超级参数调整,JITNREv
B类:
网络表示学习,算法性能,今生,数据结构,规模较,机器学习算法,高维数据,数据映射,射到,低维,向量空间,最优性能,优者,要花费,较长时间,内存占用,资源限制,最优值,松耦合,可扩展,数据流,流进,闭环结构,测试优化,通用性,拉丁超立方采样,大概,采样范围,剪枝,超大规模,大规模数据集,粗化,限制条件,评测数据集,评测指标,分析应用,易用性,GCN,节点分类,分类任务,默认,参数设置,性能提升,网络嵌入,图卷积网络,自动化机器学习
AB值:
0.266426
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。