典型文献
分布式CNN中基于参数优先级的细粒度调度算法
文献摘要：
随着卷积神经网络模型日益复杂,训练数据类型更加丰富,数据量急速增长,单一机器已经无法满足模型训练的需求,分布式CNN成为新的解决方法.在参数服务器架构下,分布式CNN模型训练会产生大量的通信数据,可能会在每次迭代后产生突发流量,从而造成网络阻塞.在TensorFlow这种用图来表示计算的平台中,节点之间接收参数的顺序是随机的.由于数据流模型可能有多个可行的遍历,为了避免由于参数未接收完毕而造成的计算阻塞,尽量缩短迭代延迟,文章设计了基于计算图和参数优先级的细粒度调度机制,提出一种启发式算法,实现对计算图中所有节点强制执行最优顺序,通过改善通信和计算的重叠,实现细粒度的参数调度,并对VGG16和ResNet32进行测试对比.实验结果表明,使用细粒度的参数调度算法能够使迭代时间缩短7％～22％左右,从而缓解网络瓶颈,提高分布式CNN模型训练性能.
文献关键词：
卷积神经网络;计算图;参数传输;优先级
中图分类号：
作者姓名：
姜珊;程志超;曾荣飞;黄敏;王兴伟
作者机构：
东北大学计算机科学与工程学院,辽宁 沈阳 110819;东北大学软件学院,辽宁 沈阳 110819;东北大学信息科学与工程学院,辽宁 沈阳 110819
文献出处：
引用格式：
[1]姜珊;程志超;曾荣飞;黄敏;王兴伟-.分布式CNN中基于参数优先级的细粒度调度算法)[J].广州大学学报（自然科学版）,2022(01):18-26
A类：
数据流模型,ResNet32
B类：
优先级,细粒度,调度算法,卷积神经网络模型,训练数据,数据类型,数据量,急速,模型训练,参数服务器,服务器架构,通信数据,网络阻塞,TensorFlow,遍历,未接,收完,完毕,计算图,调度机制,启发式算法,强制执行,VGG16,代时,训练性,参数传输
AB值：
0.337369
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
