Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2402.00318

帮助 | 高级搜索

计算机科学 > 机器学习

arXiv:2402.00318 (cs)
[提交于 2024年2月1日 (v1) ,最后修订 2024年2月2日 (此版本, v2)]

标题: 联邦学习的模拟数字调度:一种通信高效的方法

标题: Analog-digital Scheduling for Federated Learning: A Communication-Efficient Approach

Authors:Muhammad Faraz Ul Abrar, Nicolò Michelusi
摘要: 过空气(OTA)计算最近作为一种通信高效的联邦学习(FL)范式出现,用于通过无线网络训练机器学习模型。然而,其性能受到信噪比最差的设备限制,导致快速但嘈杂的更新。另一方面,通过数字信道为单个设备分配正交资源块(RB)可以减轻噪声问题,但会增加通信延迟。本文解决了这一差异,并提出了ADFL,这是一种新颖的模拟-数字FL方案:在每一轮中,参数服务器(PS)调度每个设备要么通过模拟OTA方案上传梯度,要么使用“数字”方案通过正交RB传输其量化梯度。专注于单个FL轮次,我们将最优调度问题建模为在延迟约束下最小化PS处估计全局梯度的均方误差(MSE),从而得出最优设备调度配置和数字设备的量化位数。我们的仿真结果显示,ADFL通过在OTA方案中调度大多数设备,同时偶尔为少数设备使用数字方案,在独立同分布(i.i.d.)和非独立同分布(non-i.i.d.)设置下始终优于仅OTA和仅数字方案。
摘要: Over-the-air (OTA) computation has recently emerged as a communication-efficient Federated Learning (FL) paradigm to train machine learning models over wireless networks. However, its performance is limited by the device with the worst SNR, resulting in fast yet noisy updates. On the other hand, allocating orthogonal resource blocks (RB) to individual devices via digital channels mitigates the noise problem, at the cost of increased communication latency. In this paper, we address this discrepancy and present ADFL, a novel Analog-Digital FL scheme: in each round, the parameter server (PS) schedules each device to either upload its gradient via the analog OTA scheme or transmit its quantized gradient over an orthogonal RB using the ``digital" scheme. Focusing on a single FL round, we cast the optimal scheduling problem as the minimization of the mean squared error (MSE) on the estimated global gradient at the PS, subject to a delay constraint, yielding the optimal device scheduling configuration and quantization bits for the digital devices. Our simulation results show that ADFL, by scheduling most of the devices in the OTA scheme while also occasionally employing the digital scheme for a few devices, consistently outperforms OTA-only and digital-only schemes, in both i.i.d. and non-i.i.d. settings.
评论: 出现在2023年阿西洛马信号、系统与计算机会议
主题: 机器学习 (cs.LG) ; 信息论 (cs.IT); 信号处理 (eess.SP)
引用方式: arXiv:2402.00318 [cs.LG]
  (或者 arXiv:2402.00318v2 [cs.LG] 对于此版本)
  https://doi.org/10.48550/arXiv.2402.00318
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Muhammad Faraz Ul Abrar [查看电子邮件]
[v1] 星期四, 2024 年 2 月 1 日 04:05:24 UTC (63 KB)
[v2] 星期五, 2024 年 2 月 2 日 17:08:39 UTC (63 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • TeX 源代码
查看许可
当前浏览上下文:
math.IT
< 上一篇   |   下一篇 >
新的 | 最近的 | 2024-02
切换浏览方式为:
cs
cs.IT
cs.LG
eess
eess.SP
math

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号