典型文献
基于DNN卷积核分割的边缘协作推理性能分析
文献摘要:
随着智能芯片在边缘终端设备的普及,未来大量的AI应用将部署在更靠近数据源的网络边缘.基于DNN的分割方法可以实现深度学习模型在资源受限的终端设备上训练和部署,解决边缘AI算力瓶颈问题.在传统基于工作负载的分割方案(WPM,workload based partition method)的基础上,提出基于卷积核的分割方案(KPM,kernel based partition method),分别从计算量、内存占用、通信开销3个方面进行推理性能的定量分析,并从推理过程灵活性、鲁棒性、隐私性角度进行定性分析.最后搭建软硬件实验平台,使用PyTorch实现AlexNet和VGG11网络进一步验证所提方案在时延和能耗方面的性能优势,相比于传统工作负载分割方案,所提卷积核分割方案在大规模计算场景下有更好的DNN推理加速效果,且具有更低的内存占用和能量消耗.
文献关键词:
边缘智能;深度神经网络分割;协作计算;并行推理
中图分类号:
作者姓名:
郅佳琳;滕颖蕾;张新阳;牛涛;宋梅
作者机构:
北京邮电大学电子工程学院,北京 100876
文献出处:
引用格式:
[1]郅佳琳;滕颖蕾;张新阳;牛涛;宋梅-.基于DNN卷积核分割的边缘协作推理性能分析)[J].物联网学报,2022(04):72-81
A类:
边缘协作,KPM,深度神经网络分割
B类:
DNN,卷积核,推理性,智能芯片,边缘终端,终端设备,数据源,网络边缘,分割方法,深度学习模型,资源受限,算力,瓶颈问题,WPM,workload,partition,method,kernel,计算量,内存占用,通信开销,推理过程,隐私性,实验平台,PyTorch,AlexNet,VGG11,时延,性能优势,推理加速,速效,能量消耗,边缘智能,协作计算,并行推理
AB值:
0.455938
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。