典型文献
GSO:基于图神经网络的深度学习计算图子图替换优化框架
文献摘要：
深度学习在各种实际应用中取得了巨大成功,如何有效提高各种复杂的深度学习模型在硬件设备上的执行效率是该领域重要的研究内容之一.深度学习框架通常将深度学习模型表达为由基础算子构成的计算图,为了提高计算图的执行效率,传统的深度学习系统通常基于一些专家设计的子图替换规则,采用启发式搜索算法来优化计算图.它们的不足主要有:1)搜索空间大,效率低下;2)缺乏可拓展性;3)难以利用历史优化结果.为了解决上述问题,文中提出了GSO,即一个基于图神经网络的深度学习计算图子图替换优化框架.该框架将计算图的子图优化建模成经典的子图匹配问题,基于计算图中算子的特征信息和计算图的拓扑结构信息,通过图神经网络模型来估计每种子图替换规则的匹配可行性和位置.基于与主流深度学习系统兼容的Python接口实现了GSO,实验结果表明:1)相比全量的子图替换规则,基于图神经网络的子图匹配预测可以最多减少92％的搜索空间;2)相比现有的启发式搜索算法,GSO可以更快地完成计算图子图替换优化(2倍以上),并使优化后的子图最多得到34％的加速.
文献关键词：
计算图优化;子图替换;深度学习;图神经网络
中图分类号：
作者姓名：
苗旭鹏;周跃;邵蓥侠;崔斌
作者机构：
北京大学信息科学技术学院 北京 100871;北京邮电大学计算机学院 北京 100871
文献出处：
引用格式：
[1]苗旭鹏;周跃;邵蓥侠;崔斌-.GSO:基于图神经网络的深度学习计算图子图替换优化框架)[J].计算机科学,2022(03):86-91
A类：
子图替换,替换规则,计算图优化
B类：
GSO,图神经网络,优化框架,巨大成功,深度学习模型,硬件设备,执行效率,深度学习框架,深度学习系统,统通,启发式搜索算法,优化计算,搜索空间,可拓,拓展性,优化建模,子图匹配,图匹配问题,特征信息,拓扑结构,结构信息,系统兼容,Python,口实
AB值：
0.194287
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
