数学 > 优化与控制
[提交于 2025年5月29日
]
标题: 将预处理纳入加速方法:理论保证与实际改进
标题: Incorporating Preconditioning into Accelerated Approaches: Theoretical Guarantees and Practical Improvement
摘要: 机器学习和深度学习是广泛研究的领域,为许多现代问题提供了解决方案。 由于与数据集规模相关的新问题的复杂性,高效的处理方法是必要的。 在优化理论中,Heavy Ball 和 Nesterov 方法在其模型权重更新中使用了 \textit{动量}。 另一方面,所考虑的最小化问题可能是病态条件问题,这影响了上述技术的应用有效性和有效性。 对此问题的一种解决方案是 \textit{预处理},它已经在诸如 \textsc{AdaGrad}、\textsc{RMSProp}、\textsc{亚当}等方法中进行了研究。 尽管如此,动量加速和预条件设置尚未完全结合在一起进行探索。 因此,我们提出了带预处理的加速梯度下降法(\textsc{PHB})和带预处理的Nesterov方法(\textsc{PN}),并在假设\textit{统一的}成立时,给出了其收敛性的理论保证。 此外,我们还提供了数值实验,证明了与未使用缩放的技术相比,在迭代复杂度和oracle复杂度方面具有更优越的性能。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.