计算机科学 > 机器学习
[提交于 2024年9月1日
]
标题: FastBO:具有自适应保真度识别的快速HPO和NAS
标题: FastBO: Fast HPO and NAS with Adaptive Fidelity Identification
摘要: 超参数优化(HPO)和神经网络架构搜索(NAS)在获得最先进的机器学习模型方面具有强大的能力,其中贝叶斯优化(BO)是一种主流方法。将BO扩展到多保真设置已成为一个新兴的研究课题,但面临的一个挑战是如何为每个超参数配置确定适当的保真度以拟合代理模型。为了解决这一挑战,我们提出了一种名为FastBO的多保真BO方法,该方法自适应地为每个配置决定保真度,并高效地提供强大的性能。这些优势基于每个配置的新颖概念:高效点和饱和点。我们还表明,我们的自适应保真度识别策略提供了一种将任何单保真度方法扩展到多保真度设置的方法,突显了其通用性和适用性。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.