Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2402.00318v1

帮助 | 高级搜索

计算机科学 > 机器学习

arXiv:2402.00318v1 (cs)
[提交于 2024年2月1日 (此版本) , 最新版本 2024年2月2日 (v2) ]

标题: 模拟数字调度用于联邦学习:一种通信高效的方案

标题: Analog-digital Scheduling for Federated Learning: A Communication-Efficient Approach

Authors:Muhammad Faraz Ul Abrar, Nicolò Michelusi
摘要: 过空气(OTA)计算最近作为一种通信高效的联邦学习(FL)范式出现,用于在无线网络上训练机器学习模型。 然而,其性能受到信噪比最差的设备的限制,导致快速但噪声较大的更新。 另一方面,通过数字信道为每个设备分配正交资源块(RB)可以缓解噪声问题,但代价是增加了通信延迟。 在本文中,我们解决了这一差异并提出了 ADFL,一种新颖的模拟-数字FL方案:在每一回合中,参数服务器(PS)安排每个设备通过模拟OTA方案上传其梯度,或使用"数字"方案通过正交RB传输其量化梯度。 专注于单个FL回合,我们将最优调度问题建模为在PS处估计的全局梯度的均方误差(MSE)最小化问题,受延迟约束限制,从而得到最优设备调度配置和数字设备的量化比特数。 我们的仿真结果表明,ADFL通过在OTA方案中调度大多数设备,同时偶尔对少数设备采用数字方案,无论是在独立同分布(i.i.d.)还是非独立同分布(non-i.i.d.)设置中,都能持续优于仅OTA和仅数字方案。
摘要: Over-the-air (OTA) computation has recently emerged as a communication-efficient Federated Learning (FL) paradigm to train machine learning models over wireless networks. However, its performance is limited by the device with the worst SNR, resulting in fast yet noisy updates. On the other hand, allocating orthogonal resource blocks (RB) to individual devices via digital channels mitigates the noise problem, at the cost of increased communication latency. In this paper, we address this discrepancy and present ADFL, a novel Analog-Digital FL scheme: in each round, the parameter server (PS) schedules each device to either upload its gradient via the analog OTA scheme or transmit its quantized gradient over an orthogonal RB using the ``digital" scheme. Focusing on a single FL round, we cast the optimal scheduling problem as the minimization of the mean squared error (MSE) on the estimated global gradient at the PS, subject to a delay constraint, yielding the optimal device scheduling configuration and quantization bits for the digital devices. Our simulation results show that ADFL, by scheduling most of the devices in the OTA scheme while also occasionally employing the digital scheme for a few devices, consistently outperforms OTA-only and digital-only schemes, in both i.i.d. and non-i.i.d. settings.
主题: 机器学习 (cs.LG) ; 信息论 (cs.IT); 信号处理 (eess.SP)
引用方式: arXiv:2402.00318 [cs.LG]
  (或者 arXiv:2402.00318v1 [cs.LG] 对于此版本)
  https://doi.org/10.48550/arXiv.2402.00318
通过 DataCite 发表的 arXiv DOI

提交历史

来自: Muhammad Faraz Ul Abrar [查看电子邮件]
[v1] 星期四, 2024 年 2 月 1 日 04:05:24 UTC (63 KB)
[v2] 星期五, 2024 年 2 月 2 日 17:08:39 UTC (63 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
查看许可
当前浏览上下文:
cs.LG
< 上一篇   |   下一篇 >
新的 | 最近的 | 2024-02
切换浏览方式为:
cs
cs.IT
eess
eess.SP
math
math.IT

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号