计算机科学 > 机器学习
[提交于 2024年2月1日
(此版本)
, 最新版本 2024年2月2日 (v2)
]
标题: 模拟数字调度用于联邦学习:一种通信高效的方案
标题: Analog-digital Scheduling for Federated Learning: A Communication-Efficient Approach
摘要: 过空气(OTA)计算最近作为一种通信高效的联邦学习(FL)范式出现,用于在无线网络上训练机器学习模型。 然而,其性能受到信噪比最差的设备的限制,导致快速但噪声较大的更新。 另一方面,通过数字信道为每个设备分配正交资源块(RB)可以缓解噪声问题,但代价是增加了通信延迟。 在本文中,我们解决了这一差异并提出了 ADFL,一种新颖的模拟-数字FL方案:在每一回合中,参数服务器(PS)安排每个设备通过模拟OTA方案上传其梯度,或使用"数字"方案通过正交RB传输其量化梯度。 专注于单个FL回合,我们将最优调度问题建模为在PS处估计的全局梯度的均方误差(MSE)最小化问题,受延迟约束限制,从而得到最优设备调度配置和数字设备的量化比特数。 我们的仿真结果表明,ADFL通过在OTA方案中调度大多数设备,同时偶尔对少数设备采用数字方案,无论是在独立同分布(i.i.d.)还是非独立同分布(non-i.i.d.)设置中,都能持续优于仅OTA和仅数字方案。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.