FAILED
首站-论文投稿智能助手
典型文献
基于隐式随机梯度下降优化的联邦学习
文献摘要:
联邦学习是一种分布式机器学习范式,中央服务器通过协作大量远程设备训练一个最优的全局模型.目前联邦学习主要存在系统异构性和数据异构性这两个关键挑战.本文主要针对异构性导致的全局模型收敛慢甚至无法收敛的问题,提出基于隐式随机梯度下降优化的联邦学习算法.与传统联邦学习更新方式不同,本文利用本地上传的模型参数近似求出平均全局梯度,同时避免求解一阶导数,通过梯度下降来更新全局模型参数,使全局模型能够在较少的通信轮数下达到更快更稳定的收敛结果.在实验中,模拟了不同等级的异构环境,本文提出的算法比FedProx和FedAvg均表现出更快更稳定的收敛结果.在相同收敛结果的前提下,本文的方法在高度异构的合成数据集上比FedProx通信轮数减少近50%,显著提升了联邦学习的稳定性和鲁棒性.
文献关键词:
联邦学习;分布式机器学习;中央服务器;全局模型;隐式随机梯度下降;数据异构;系统异构;优化算法;快速收敛
作者姓名:
窦勇敢;袁晓彤
作者机构:
南京信息工程大学 自动化学院,江苏 南京 210044;江苏省大数据分析技术重点实验室,江苏 南京210044
文献出处:
引用格式:
[1]窦勇敢;袁晓彤-.基于隐式随机梯度下降优化的联邦学习)[J].智能系统学报,2022(03):488-495
A类:
隐式随机梯度下降,FedProx
B类:
梯度下降优化,联邦学习,分布式机器学习,学习范式,中央服务器,全局模型,系统异构,数据异构性,关键挑战,更新方式,一阶导数,轮数,下达,更稳,不同等级,异构环境,FedAvg,异构的,合成数据集,快速收敛
AB值:
0.225286
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。