计算机科学 > 机器学习
[提交于 2025年10月27日
]
标题: 面向深度物理信息Kolmogorov-Arnold网络
标题: Towards Deep Physics-Informed Kolmogorov-Arnold Networks
摘要: 自引入以来,Kolmogorov-Arnold Networks(KANs)已在多个领域成功应用,其中基于物理信息的机器学习(PIML)成为它们蓬勃发展的一个领域。 在PIML设置中,基于切比雪夫的物理信息KANs(cPIKANs)由于其计算效率而成为标准。 然而,与基于多层感知器的对应方法类似,当cPIKANs扩展到深度时,会面临重大挑战,导致训练不稳定,限制了它们在多个PDE问题中的应用。 为了解决这个问题,我们提出了一种与基无关的、类似Glorot的初始化方案,该方案保持激活值方差,并在稳定性与准确性方面显著优于cPIKANs的默认初始化。 受PirateNet架构的启发,我们进一步引入了残差门控自适应KANs(RGA KANs),旨在缓解深度cPIKANs中的发散问题,仅靠初始化已不足以解决这些问题。 通过实验测试和信息瓶颈分析,我们表明RGA KANs能够成功通过所有训练阶段,而基线cPIKANs在特定PDE设置中会在扩散阶段停滞。 在固定训练流程下,对七个标准前向PDE基准进行评估,结果显示RGA KANs在参数匹配的情况下始终优于cPIKANs和PirateNets——通常好几倍——同时在其他模型发散的设置中仍保持稳定。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.